Apache Storm - 核心概念

Apache Storm 從一端讀取即時資料的原始流，並將其透過一系列小的處理單元，並在另一端輸出處理後的/有用的資訊。

下圖描繪了 Apache Storm 的核心概念。

現在讓我們更仔細地看看 Apache Storm 的元件 -

元件	描述
元組 (Tuple)	元組是 Storm 中的主要資料結構。它是一個有序元素的列表。預設情況下，元組支援所有資料型別。通常，它被建模為一組逗號分隔的值，並傳遞到 Storm 叢集。
流 (Stream)	流是元組的無序序列。
噴口 (Spouts)	流的源頭。通常，Storm 從原始資料來源（如 Twitter Streaming API、Apache Kafka 佇列、Kestrel 佇列等）接受輸入資料。否則，您可以編寫噴口從資料來源讀取資料。“ISpout”是實現噴口的核心介面。一些特定的介面是 IRichSpout、BaseRichSpout、KafkaSpout 等。
螺栓 (Bolts)	螺栓是邏輯處理單元。噴口將資料傳遞給螺栓，螺栓處理並生成新的輸出流。螺栓可以執行過濾、聚合、連線、與資料來源和資料庫互動的操作。螺栓接收資料並向一個或多個螺栓發出資料。“IBolt”是實現螺栓的核心介面。一些常見的介面是 IRichBolt、IBasicBolt 等。

讓我們以“Twitter 分析”的即時示例為例，看看它如何在 Apache Storm 中建模。下圖描繪了結構。

“Twitter 分析”的輸入來自 Twitter Streaming API。噴口將使用 Twitter Streaming API 讀取使用者的推文，並將其輸出為元組流。來自噴口的單個元組將包含 Twitter 使用者名稱和單個推文作為逗號分隔的值。然後，此元組流將轉發到螺栓，螺栓將推文拆分為單個單詞，計算單詞計數，並將資訊持久化到已配置的資料來源。現在，我們可以透過查詢資料來源輕鬆獲取結果。

拓撲 (Topology)

噴口和螺栓連線在一起，形成一個拓撲。即時應用程式邏輯在 Storm 拓撲中指定。簡單來說，拓撲是一個有向圖，其中頂點是計算，邊是資料流。

一個簡單的拓撲從噴口開始。噴口將資料傳送到一個或多個螺栓。螺栓表示拓撲中具有最小處理邏輯的節點，螺栓的輸出可以作為輸入傳送到另一個螺栓。

Storm 保持拓撲始終執行，直到您終止拓撲。Apache Storm 的主要工作是執行拓撲，並且可以在給定時間執行任意數量的拓撲。

任務 (Tasks)

現在您對噴口和螺栓有了基本的瞭解。它們是拓撲中最小的邏輯單元，並且可以使用單個噴口和螺栓陣列構建拓撲。為了使拓撲成功執行，它們應該按照特定的順序正確執行。Storm 對每個噴口和螺栓的執行稱為“任務”。簡單來說，任務要麼是噴口的執行，要麼是螺栓的執行。在給定時間，每個噴口和螺栓可以有多個例項在多個單獨的執行緒中執行。