Hadoop - 多節點叢集

上一頁
下一頁

本章解釋如何在分散式環境中設定 Hadoop 多節點叢集。

由於無法演示整個叢集，我們將使用三個系統（一個主節點和兩個從節點）來解釋 Hadoop 叢集環境；以下是它們的IP地址。

  • Hadoop 主節點：192.168.1.15 (hadoop-master)
  • Hadoop 從節點：192.168.1.16 (hadoop-slave-1)
  • Hadoop 從節點：192.168.1.17 (hadoop-slave-2)

請按照以下步驟設定 Hadoop 多節點叢集。

安裝 Java

Java 是 Hadoop 的主要先決條件。首先，您應該使用“java -version”驗證系統中是否存在 java。java 版本命令的語法如下所示。

$ java -version

如果一切正常，它將為您提供以下輸出。

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系統中未安裝 java，請按照給定的步驟安裝 java。

步驟 1

訪問以下連結下載 java（JDK <最新版本> - X64.tar.gz） www.oracle.com

然後jdk-7u71-linux-x64.tar.gz 將下載到您的系統中。

步驟 2

通常您會在“下載”資料夾中找到下載的 java 檔案。驗證它並使用以下命令解壓jdk-7u71-linux-x64.gz 檔案。

$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz

$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

步驟 3

為了使所有使用者都能使用 java，您必須將其移動到“/usr/local/”位置。開啟 root，然後鍵入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步驟 4

要設定PATH 和JAVA_HOME 變數，請將以下命令新增到~/.bashrc 檔案中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

現在，如上所述，從終端驗證java -version 命令。按照上述過程，在所有叢集節點上安裝 java。

建立使用者帳戶

在主節點和從節點系統上建立一個系統使用者帳戶以使用 Hadoop 安裝。

# useradd hadoop 
# passwd hadoop

對映節點

您必須在所有節點上的/etc/ 資料夾中編輯hosts 檔案，指定每個系統的 IP 地址及其主機名。

# vi /etc/hosts
enter the following lines in the /etc/hosts file.

192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

配置基於金鑰的登入

在每個節點上設定 ssh，以便它們可以相互通訊，而無需提示輸入密碼。

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安裝 Hadoop

在主伺服器中，使用以下命令下載並安裝 Hadoop。

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

配置 Hadoop

您必須透過進行以下更改來配置 Hadoop 伺服器。

core-site.xml

開啟core-site.xml 檔案並按如下所示進行編輯。

<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

hdfs-site.xml

開啟hdfs-site.xml 檔案並按如下所示進行編輯。

<configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

mapred-site.xml

開啟mapred-site.xml 檔案並按如下所示進行編輯。

<configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

hadoop-env.sh

開啟hadoop-env.sh 檔案並按如下所示編輯 JAVA_HOME、HADOOP_CONF_DIR 和 HADOOP_OPTS。

注意 - 根據您的系統配置設定 JAVA_HOME。

export JAVA_HOME=/opt/jdk1.7.0_17
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在從伺服器上安裝 Hadoop

按照給定的命令在所有從伺服器上安裝 Hadoop。

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

在主伺服器上配置 Hadoop

開啟主伺服器並按照給定的命令進行配置。

# su hadoop 
$ cd /opt/hadoop/hadoop

配置主節點

$ vi etc/hadoop/masters

hadoop-master

配置從節點

$ vi etc/hadoop/slaves

hadoop-slave-1 
hadoop-slave-2

在 Hadoop 主節點上格式化 NameNode

# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format
11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473;
compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 

************************************************************/
11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap
editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 
11/10/14 10:58:08 INFO common.Storage: Storage directory 
/opt/hadoop/hadoop/dfs/name has been successfully formatted.
11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15
************************************************************/

啟動 Hadoop 服務

以下命令用於啟動 Hadoop 主節點上的所有 Hadoop 服務。

$ cd $HADOOP_HOME/sbin
$ start-all.sh

在 Hadoop 叢集中新增新的 DataNode

以下是向 Hadoop 叢集新增新節點的步驟。

網路

使用一些適當的網路配置將新節點新增到現有的 Hadoop 叢集中。假設以下網路配置。

對於新節點配置 -

IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

新增使用者和 SSH 訪問

新增使用者

在新節點上，新增“hadoop”使用者並使用以下命令將 Hadoop 使用者的密碼設定為“hadoop123”或任何您想要的密碼。

useradd hadoop
passwd hadoop

設定從主節點到新從節點的無密碼連線。

在主節點上執行以下操作

mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/

在從節點上執行以下操作

登入到 hadoop。如果不行，登入到 hadoop 使用者。

su hadoop ssh -X hadoop@192.168.1.103

將公鑰的內容複製到檔案"$HOME/.ssh/authorized_keys" 中，然後透過執行以下命令更改其許可權。

cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

檢查來自主機的 ssh 登入。現在檢查您是否可以從主節點無密碼 ssh 到新節點。

ssh hadoop@192.168.1.103 or hadoop@slave3

設定新節點的主機名

您可以在檔案/etc/sysconfig/network 中設定主機名

On new slave3 machine

NETWORKING = yes 
HOSTNAME = slave3.in

為了使更改生效，您可以重新啟動機器或使用相應的主機名執行 hostname 命令到新機器（重新啟動是更好的選擇）。

在 slave3 節點機器上 -

hostname slave3.in

使用以下行更新叢集中所有機器上的/etc/hosts -

192.168.1.102 slave3.in slave3

現在嘗試使用主機名 ping 機器，以檢查它是否解析為 IP。

在新節點機器上 -

ping master.in

在新節點上啟動 DataNode

使用$HADOOP_HOME/bin/hadoop-daemon.sh 指令碼手動啟動 datanode 守護程式。它將自動聯絡主節點 (NameNode) 並加入叢集。我們還應該將新節點新增到主伺服器中的 conf/slaves 檔案中。基於指令碼的命令將識別新節點。

登入到新節點

su hadoop or ssh -X hadoop@192.168.1.103

使用以下命令在新新增的從節點上啟動 HDFS

./bin/hadoop-daemon.sh start datanode

檢查新節點上 jps 命令的輸出。如下所示。

$ jps
7141 DataNode
10312 Jps

從 Hadoop 叢集中刪除 DataNode

我們可以在叢集執行時隨時刪除節點，而不會丟失任何資料。HDFS 提供了一個退役功能，確保安全地執行節點刪除。要使用它，請按照以下步驟操作 -

步驟 1 - 登入到主節點

登入到安裝了 Hadoop 的主機的使用者。

$ su hadoop

步驟 2 - 更改叢集配置

必須在啟動叢集之前配置排除檔案。向我們的$HADOOP_HOME/etc/hadoop/hdfs-site.xml 檔案新增一個名為 dfs.hosts.exclude 的鍵。與此鍵關聯的值提供 NameNode 本地檔案系統上檔案的完整路徑，該檔案包含不允許連線到 HDFS 的機器列表。

例如，將以下行新增到etc/hadoop/hdfs-site.xml 檔案。

<property> 
   <name>dfs.hosts.exclude</name> 
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
   <description>DFS exclude</description> 
</property>

步驟 3 - 確定要退役的主機

每個要退役的機器都應該新增到由 hdfs_exclude.txt 標識的檔案中，每行一個域名。這將阻止它們連線到 NameNode。如果您想刪除 DataNode2，則"/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt" 檔案的內容如下所示。

slave2.in

步驟 4 - 強制重新載入配置

執行命令"$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes"（不帶引號）。

$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

這將強制 NameNode 重新讀取其配置，包括新更新的“排除”檔案。它將在一段時間內退役節點，從而為每個節點的塊複製到計劃保持活動狀態的機器上留出時間。

在slave2.in 上，檢查 jps 命令的輸出。一段時間後，您將看到 DataNode 程序自動關閉。

步驟 5 - 關閉節點

退役過程完成後，可以安全地關閉退役的硬體以進行維護。執行 report 命令到 dfsadmin 以檢查退役的狀態。以下命令將描述退役節點和連線到叢集的節點的狀態。

$ $HADOOP_HOME/bin/hadoop dfsadmin -report

步驟 6 - 再次編輯排除檔案

機器退役後，可以將其從“排除”檔案中刪除。再次執行"$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes" 將把排除檔案重新讀入 NameNode；允許 DataNode 在維護完成後重新加入叢集，或者叢集再次需要更多容量等。

特別注意 - 如果遵循上述過程並且節點上仍執行 tasktracker 程序，則需要將其關閉。一種方法是像我們在上述步驟中那樣斷開機器的連線。主節點將自動識別該程序並將其宣告為已死。無需遵循相同的過程來刪除 tasktracker，因為它不像 DataNode 那樣重要。DataNode 包含您想要安全刪除的資料，而不會丟失任何資料。

tasktracker 可以隨時透過以下命令執行/關閉。

$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker
$HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker
列印頁面
上一頁
下一頁
廣告