Splunk - 資料攝取



Splunk 中的資料攝取透過新增資料功能完成,該功能是搜尋和報告應用程式的一部分。登入後,Splunk 介面的主螢幕會顯示新增資料圖示,如下所示。

Ingestion1

單擊此按鈕後,系統會顯示一個螢幕,供您選擇要推送到 Splunk 進行分析的資料來源和格式。

收集資料

我們可以從 Splunk 官方網站獲取要分析的資料。儲存此檔案並將其解壓縮到您的本地驅動器中。開啟資料夾後,您可以找到三個具有不同格式的檔案。它們是由一些 Web 應用程式生成的日誌資料。我們還可以收集 Splunk 提供的另一組資料,這些資料可從 Splunk 官方網頁獲取。

我們將使用這兩組資料來了解 Splunk 各種功能的工作原理。

上傳資料

接下來,我們從資料夾mailsv中選擇檔案secure.log,該資料夾已儲存在我們的本地系統中,如上一段所述。選擇檔案後,我們使用右上角的綠色“下一步”按鈕進入下一步。

Ingestion2

選擇資料來源型別

Splunk 具有內建功能來檢測正在攝取的資料型別。它還允許使用者選擇與 Splunk 選擇的資料型別不同的資料型別。單擊資料來源型別下拉選單,我們可以看到 Splunk 可以攝取並啟用搜索的各種資料型別。

在下面給出的當前示例中,我們選擇預設的資料來源型別。

Ingestion3

輸入設定

在此資料攝取步驟中,我們配置資料攝取的源主機名。以下是可供選擇的主機名選項:

常量值

它是源資料所在的完整主機名。

路徑中的正則表示式

當您想使用正則表示式提取主機名時。然後在“正則表示式”欄位中輸入要提取的主機的正則表示式。

路徑中的段

當您想從資料來源路徑中的某個段提取主機名時,在“段號”欄位中輸入段號。例如,如果源路徑為 /var/log/,並且您希望第三個段(主機伺服器名稱)作為主機值,則輸入“3”。

接下來,我們選擇要為輸入資料建立的索引型別,以便於搜尋。我們選擇預設的索引策略。摘要索引僅透過聚合建立資料的摘要並對其建立索引,而歷史索引用於儲存搜尋歷史記錄。下圖清楚地說明了這一點:

Ingestion4

檢視設定

單擊“下一步”按鈕後,我們會看到我們所選設定的摘要。我們對其進行審查,然後選擇“下一步”以完成資料的上傳。

Ingestion5

完成載入後,將顯示以下螢幕,其中顯示資料攝取成功以及我們可以對資料採取的其他操作。

Ingestion6
廣告