Apache Flink - 批處理與即時處理



在大資料領域,有兩種型別的處理方式:

  • 批處理
  • 即時處理

基於一段時間內收集的資料進行處理稱為批處理。例如,銀行經理想要處理過去一個月的(隨時間收集的)資料,以瞭解過去一個月內有多少支票被取消。

基於即時資料進行處理以獲取即時結果稱為即時處理。例如,銀行經理在發生欺詐交易(即時結果)後立即收到欺詐警報。

下表列出了批處理和即時處理之間的區別:

批處理 即時處理

靜態檔案

事件流

以分鐘、小時、天等為週期進行處理

立即處理

納秒

磁碟儲存上的歷史資料

記憶體儲存

示例 - 賬單生成

示例 - ATM 交易警報

如今,即時處理在每個組織中都得到了廣泛應用。諸如欺詐檢測、醫療保健中的即時警報和網路攻擊警報等用例都需要對即時資料進行即時處理;即使延遲幾毫秒也可能產生巨大影響。

對於此類即時用例,理想的工具應該是能夠將資料作為流而不是批次輸入的工具。Apache Flink 就是這樣的即時處理工具。

廣告