Logstash - 外掛

---

---

Logstash 為其管道的所有三個階段（輸入、過濾器和輸出）提供各種外掛。這些外掛幫助使用者從各種來源捕獲日誌，例如 Web 伺服器、資料庫、網路協議等。

捕獲後，Logstash 可以根據使用者的需要將資料解析和轉換成分有意義的資訊。最後，Logstash 可以將這些有意義的資訊傳送或儲存到各種目標源，例如 Elasticsearch、AWS Cloudwatch 等。

輸入外掛

Logstash 中的輸入外掛幫助使用者從各種來源提取和接收日誌。使用輸入外掛的語法如下：

Input {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下載輸入外掛：

>Logstash-plugin install Logstash-input-<plugin name>

Logstash-plugin 實用程式位於 Logstash 安裝目錄的**bin 資料夾**中。下表列出了 Logstash 提供的輸入外掛。

外掛設定

所有外掛都有其特定的設定，有助於指定外掛中重要的欄位，例如埠、路徑等。我們將討論一些輸入外掛的設定。

檔案

此輸入外掛用於直接從輸入源中存在的日誌或文字檔案中提取事件。它的工作原理類似於 UNIX 中的 tail 命令，並儲存上次讀取的遊標，僅讀取輸入檔案中新追加的資料，但可以透過使用 star_position 設定進行更改。以下是此輸入外掛的設定。

Elasticsearch

此特定外掛用於讀取 Elasticsearch 叢集中的搜尋查詢結果。以下是此外掛中使用的設定：

eventlog

此輸入外掛讀取 Windows 伺服器的 win32 API 中的資料。以下是此外掛的設定：

Twitter

此輸入外掛用於從其流式 API 收集 Twitter 的 feed。下表描述了此外掛的設定。

TCP

TCP用於透過TCP套接字獲取事件；它可以讀取來自使用者連線或伺服器的事件，這在模式設定中指定。下表描述了此外掛的設定 -

Logstash – 輸出外掛

Logstash支援各種輸出源和不同的技術，如資料庫、檔案、電子郵件、標準輸出等。

使用輸出外掛的語法如下所示 -

output {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下載輸出外掛 -

>logstash-plugin install logstash-output-<plugin name>

**Logstash-plugin實用程式**位於Logstash安裝目錄的bin資料夾中。下表描述了Logstash提供的輸出外掛。

所有外掛都有其特定的設定，有助於在外掛中指定重要的欄位，如埠、路徑等。我們將討論一些輸出外掛的設定。

Elasticsearch

Elasticsearch輸出外掛使Logstash能夠將輸出儲存在Elasticsearch引擎的特定叢集中。這是使用者最受歡迎的選擇之一，因為它包含在ELK Stack軟體包中，因此為Devops提供端到端解決方案。下表描述了此輸出外掛的設定。

Email

電子郵件輸出外掛用於在Logstash生成輸出時通知使用者。下表描述了此外掛的設定。

Http

此設定用於透過http將輸出事件傳送到目標。此外掛具有以下設定 -

stdout

stdout輸出外掛用於將輸出事件寫入命令列介面的標準輸出。在Windows中是命令提示符，在UNIX中是終端。此外掛具有以下設定 -

statsd

這是一個網路守護程式，用於透過UDP將矩陣資料傳送到目標後端服務。在Windows中是命令提示符，在UNIX中是終端。此外掛具有以下設定 -

過濾器外掛

Logstash 支援各種過濾器外掛來解析和轉換輸入日誌，使其具有更結構化且易於查詢的格式。

使用過濾器外掛的語法如下所示：

filter {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下載過濾器外掛：

>logstash-plugin install logstash-filter-<plugin name>

Logstash-plugin 實用程式位於 Logstash 安裝目錄的 bin 資料夾中。下表描述了 Logstash 提供的輸出外掛。

編解碼器外掛

編解碼器外掛可以是輸入或輸出外掛的一部分。這些外掛用於更改或格式化日誌資料的表示形式。Logstash 提供了多個編解碼器外掛，如下所示：

構建您自己的外掛

您還可以建立自己的 Logstash 外掛，以滿足您的需求。Logstash-plugin 實用程式用於建立自定義外掛。在這裡，我們將建立一個過濾器外掛，它將在事件中新增自定義訊息。

生成基本結構

使用者可以使用 logstash-plugin 實用程式的 generate 選項生成必要的檔案，或者它也可以在 GitHub 上獲得。

>logstash-plugin generate --type filter --name myfilter --path c:/tpwork/logstash/lib

這裡，**type** 選項用於指定外掛是輸入、輸出還是過濾器。在此示例中，我們正在建立名為 **myfilter** 的過濾器外掛。path 選項用於指定您希望建立外掛目錄的路徑。執行上述命令後，您將看到建立了一個目錄結構。

開發外掛

您可以在外掛目錄的 **\lib\logstash\filters** 資料夾中找到外掛的程式碼檔案。副檔名將為 **.rb**。

在我們的例子中，程式碼檔案位於以下路徑：

C:\tpwork\logstash\lib\logstash-filter-myfilter\lib\logstash\filters\myfilter.rb

我們將訊息更改為：default ⇒ "Hi, You are learning this on tutorialspoint.com" 並儲存檔案。

安裝外掛

要安裝此外掛，需要修改 Logstash 的 Gemfile。您可以在 Logstash 的安裝目錄中找到此檔案。在我們的例子中，它將位於 **C:\tpwork\logstash**。使用任何文字編輯器編輯此檔案，並在其中新增以下文字。

gem "logstash-filter-myfilter",:path => "C:/tpwork/logstash/lib/logstash-filter-myfilter"

在上面的命令中，我們指定了外掛的名稱以及可以在哪裡找到它以進行安裝。然後，執行 Logstash-plugin 實用程式來安裝此外掛。

>logstash-plugin install --no-verify

測試

在這裡，我們在之前的示例之一中添加了 **myfilter**：

logstash.conf

此 Logstash 配置檔案在 grok 過濾器外掛之後包含過濾器部分中的 myfilter。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   } 
}
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
            %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" ]
   }
   myfilter{}
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output1.log"
      codec => rubydebug
   }
}

執行 logstash

我們可以使用以下命令執行 Logstash。

>logstash –f logsatsh.conf

input.log

以下程式碼塊顯示了輸入日誌資料。

INFO - 48566 - TRANSACTION_START - start

output.log

以下程式碼塊顯示了輸出日誌資料。

{
   "path" => "C:/tpwork/logstash/bin/log/input.log",
   "@timestamp" => 2017-01-07T06:25:25.484Z,
   "loglevel" => "INFO",
   "logger" => "TRANSACTION_END",
   "@version" => "1",
   "host" => "Dell-PC",
   "label" => "end",
   "message" => "Hi, You are learning this on tutorialspoint.com",
   "taskid" => "48566",
   "tags" => []
}

在 Logstash 上釋出

開發人員還可以透過將其上傳到 github 並遵循 Elasticsearch 公司定義的標準化步驟，將其自定義外掛釋出到 Logstash。

有關釋出的更多資訊，請參閱以下網址：

https://www.elastic.co/guide/en/logstash/current/contributing-to-logstash.html