Hadoop - HDFS 操作

啟動 HDFS

首先，必須對已配置的 HDFS 檔案系統進行格式化、開啟名稱節點（HDFS 伺服器）並執行以下命令。

$ hadoop namenode -format

對 HDFS 進行格式化後，啟動分散式檔案系統。以下命令將啟動名稱節點以及資料節點作為叢集。

$ start-dfs.sh

將資訊載入到伺服器後，我們可以使用 ‘ls’ 在目錄中查詢檔案列表、獲取檔案狀態。以下是 ls 的語法，你可以將它傳遞給目錄或檔名作為引數。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

假設我們在本地系統中有一個名為 file.txt 的檔案中儲存的資料必須儲存在 hdfs 檔案系統中。按照以下步驟將必需的檔案插入 Hadoop 檔案系統中。

必須建立一個輸入目錄。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

使用 put 命令將資料檔案從本地系統傳輸並存儲在 Hadoop 檔案系統中。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

可以使用 ls 命令驗證檔案。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

假設我們在 HDFS 中有一個名為 outfile 的檔案。下面是一個簡單的演示，用於從 Hadoop 檔案系統中檢索所需檔案。

首先，使用 cat 命令從 HDFS 中檢視資料。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

使用 get 命令將檔案從 HDFS 獲取到本地檔案系統中。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

可以使用以下命令關閉 HDFS。

$ stop-dfs.sh

列印頁面