Hadoop和Spark的區別

---

Hadoop框架是一個開源框架，具有擴充套件計算和儲存能力。它可以在許多計算機組成的分散式環境中儲存和處理大資料。作為替代方案，Spark是一個開源的叢集技術。它旨在加速計算。該產品支援容錯且隱式並行的完整程式叢集。Spark的主要特點是記憶體中叢集計算，這可以提高應用程式的速度。這些技術有一些相似之處和區別，所以讓我們簡要討論一下。

什麼是Hadoop？

Hadoop起源於2006年的雅虎專案。該專案的後續版本被髮展成為Apache頂級專案。它採用簡單的程式設計模型來協調叢集之間的操作。Hadoop中的每個模組都是基於一個基本原理構建的，即硬體故障是常見事件，並且需要由框架處理。

MapReduce演算法並行處理資料。Hadoop框架可以充分開發在集群系統上執行的應用程式。

Hadoop的核心包含一個名為Hadoop分散式檔案系統（HDFS）的儲存部分和一個名為MapReduce程式設計模型的處理部分。Hadoop將檔案分成較大的塊，並將其分佈在叢集中。

Hadoop Yarn是另一個用於排程和協調應用程式執行時的模組。Hadoop是用Java編寫的，因此可以透過多種程式語言編寫MapReduce程式碼。它可以透過Apache發行版或MapR、Hortonworks或Cloudera等供應商以開源方式獲取。

什麼是Spark？

Spark於2012年首次開發，是一個較新的專案。開發者在Hadoop MapReduce模組之上構建了它。MapReduce模型被擴充套件以使用其他計算方法來支援互動式查詢和流處理。Apache推出了Spark，這是一個開源專案，用於在記憶體中跨叢集並行處理資料。

Spark包含它自己的Hadoop叢集版本。在儲存和處理方面，它使用Hadoop。透過升級特定模組和整合新模組，它具有許多功能。這使得應用程式能夠在Hadoop叢集中更快地在記憶體中執行。

這是因為它減少了對磁碟的讀寫操作。將中間處理資料儲存在記憶體中可以節省讀寫操作。終端使用者可以使用各種方法編寫應用程式，因為Spark提供了Python、Scala和Java的內建API。各種庫構建在Spark核心之上，包括機器學習、SQL查詢、流資料和圖演算法。

Hadoop和Spark的區別

以下是Spark和Hadoop的主要區別：

Hadoop	Spark
一個使用MapReduce演算法的開源框架。	一個閃電般快速的叢集計算技術，有效地擴充套件了MapReduce模型以使用各種計算方法。
MapReduce模型使用讀寫操作，導致處理速度較慢。	透過減少對磁碟的讀寫操作，它提供了更快的處理速度。
旨在有效地執行批處理。	旨在有效地處理即時資料。
Hadoop提供高延遲計算。	Spark提供低延遲計算。
包含互動式環境。	沒有互動式環境。
資料只能以批處理模式處理。	能夠處理即時資料。
Hadoop在成本方面更便宜。	Spark價格昂貴。

結論

Hadoop允許並行處理大量資料。它將大型資料拆分為較小的資料，以便在不同的資料節點上單獨處理。然後，它自動收集來自所有多個節點的結果以返回單個結果。如果資料結果大於可用RAM，則Hadoop可能會優於Spark。

說到Spark，它易於使用，因為它包含使用者友好的API。客戶可以輕鬆地為資料處理澄清其框架，因為它提供了一種在同一叢集中執行流式處理、機器學習和批處理的方法。