Apache NiFi - 資料溯源



Apache NiFi 記錄並存儲有關流中攝取資料時發生的事件的所有資訊。資料溯源儲存庫儲存此資訊,並提供用於搜尋此事件資訊的 UI。資料溯源可以在 NiFi 級別和處理器級別訪問。

Data Provenance

下表列出了 NiFi 資料溯源事件列表中的不同欄位:

序號 欄位名稱 描述
1 日期/時間 事件的日期和時間。
2 型別 事件型別,例如“CREATE”。
3 FlowFileUuid 執行事件的 FlowFile 的 UUID。
4 大小 FlowFile 的大小。
5 元件名稱 執行事件的元件的名稱。
6 元件型別 元件的型別。
7 顯示血緣 最後一列顯示血緣圖示,用於檢視 FlowFile 血緣,如下面的影像所示。
Lineage Icon

要獲取有關事件的更多資訊,使用者可以單擊 NiFi 資料溯源 UI 第一列中的資訊圖示。

nifi.properties 檔案中有一些屬性用於管理 NiFi 資料溯源儲存庫。

序號 屬性名稱 預設值 描述
1 nifi.provenance.repository.directory.default ./provenance_repository 指定 NiFi 資料溯源的預設路徑。
2 nifi.provenance.repository.max.storage.time 24 小時 指定 NiFi 資料溯源的最大保留時間。
3 nifi.provenance.repository.max.storage.size 1 GB 指定 NiFi 資料溯源的最大儲存空間。
4 nifi.provenance.repository.rollover.time 30 秒 指定 NiFi 資料溯源的滾動時間。
5 nifi.provenance.repository.rollover.size 100 MB 指定 NiFi 資料溯源的滾動大小。
6 nifi.provenance.repository.indexed.fields EventType, FlowFileUUID, Filename, ProcessorID, Relationship 指定用於搜尋和索引 NiFi 資料溯源的欄位。
廣告
© . All rights reserved.