MapReduce - Hadoop 管理

本章介紹 Hadoop 管理，包括 HDFS 和 MapReduce 管理。

• HDFS 管理包括監控 HDFS 檔案結構、位置和更新的檔案。

• MapReduce 管理包括監控應用程式列表、節點配置、應用程式狀態等。

HDFS 監控

HDFS（Hadoop 分散式檔案系統）包含使用者目錄、輸入檔案和輸出檔案。使用 MapReduce 命令 put 和 get 進行儲存和檢索。

透過在“/$HADOOP_HOME/sbin”上執行“start-all.sh”命令啟動 Hadoop 框架（守護程序）後，將以下 URL 傳遞給瀏覽器“https://:50070”。您應該在瀏覽器上看到以下螢幕。

以下螢幕截圖顯示瞭如何瀏覽 HDFS。

以下螢幕截圖顯示了 HDFS 的檔案結構。它顯示了“/user/hadoop”目錄中的檔案。

以下螢幕截圖顯示了叢集中的 DataNode 資訊。在這裡您可以找到一個節點及其配置和容量。

MapReduce 作業監控

MapReduce 應用程式是作業（Map 作業、合併器、分割槽器和 Reduce 作業）的集合。必須監控和維護以下內容：

• 應用程式適合的 datanode 配置。
• 每個應用程式使用的 datanode 數量和資源。

要監控所有這些內容，我們必須擁有一個使用者介面。透過在“/$HADOOP_HOME/sbin”上執行“start-all.sh”命令啟動 Hadoop 框架後，將以下 URL 傳遞給瀏覽器“https://:8080”。您應該在瀏覽器上看到以下螢幕。

在上面的螢幕截圖中，手形指標位於應用程式 ID 上。只需單擊它即可在瀏覽器上找到以下螢幕。它描述了以下內容：

• 當前應用程式正在哪個使用者上執行

• 應用程式名稱

• 該應用程式的型別

• 當前狀態、最終狀態

• 應用程式啟動時間、經過時間（完成時間），如果在監控時已完成

• 此應用程式的歷史記錄，即日誌資訊

• 最後，節點資訊，即參與執行應用程式的節點。

以下螢幕截圖顯示了特定應用程式的詳細資訊：

以下螢幕截圖描述了當前正在執行的節點資訊。此處，螢幕截圖僅包含一個節點。手形指標顯示正在執行的節點的本地主機地址。