Apache Flink - Flink vs Spark vs Hadoop



這是一個綜合表格,展示了三個最流行的大資料框架之間的比較:Apache Flink、Apache Spark 和 Apache Hadoop。

Apache Hadoop Apache Spark Apache Flink

起源年份

2005 2009 2009

起源地

MapReduce (Google) Hadoop (雅虎) 加州大學伯克利分校 柏林工業大學

資料處理引擎

批處理 批處理 流處理

處理速度

慢於 Spark 和 Flink 比 Hadoop 快 100 倍 比 Spark 快

程式語言

Java、C、C++、Ruby、Groovy、Perl、Python Java、Scala、Python 和 R Java 和 Scala

程式設計模型

MapReduce 彈性分散式資料集 (RDD) 迴圈資料流

資料傳輸

批處理 批處理 流水線和批處理

記憶體管理

基於磁碟 JVM 管理 主動管理

延遲

中等

吞吐量

中等

最佳化

手動 手動 自動

API

低階 高階 高階

流處理支援

不支援 Spark Streaming Flink Streaming

SQL 支援

Hive、Impala SparkSQL 表 API 和 SQL

圖支援

不支援 GraphX Gelly

機器學習支援

不支援 SparkML FlinkML
廣告

© . All rights reserved.