Mahout - 環境

上一頁
下一頁

本章將指導您如何設定 Mahout。Java 和 Hadoop 是 Mahout 的前提條件。以下是下載和安裝 Java、Hadoop 和 Mahout 的步驟。

安裝前設定

在 Linux 環境中安裝 Hadoop 之前，我們需要使用ssh（安全 shell）設定 Linux。請按照以下步驟設定 Linux 環境。

建立使用者

建議為 Hadoop 建立一個單獨的使用者，以將 Hadoop 檔案系統與 Unix 檔案系統隔離。請按照以下步驟建立使用者。

  • 使用命令“su”開啟 root。

  • 使用命令“useradd 使用者名稱”從 root 帳戶建立使用者。

  • 現在，您可以使用命令“su 使用者名稱”開啟現有使用者帳戶。

  • 開啟 Linux 終端並輸入以下命令以建立使用者。

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH 設定和金鑰生成

SSH 設定是執行叢集上不同操作（例如啟動、停止和分散式守護程式 shell 操作）所必需的。為了對 Hadoop 的不同使用者進行身份驗證，需要為 Hadoop 使用者提供公鑰/私鑰對，並與不同使用者共享。

以下命令用於使用 SSH 生成金鑰對，將公鑰從 id_rsa.pub 複製到 authorized_keys，並分別為 authorized_keys 檔案提供所有者、讀取和寫入許可權。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

驗證 ssh

ssh localhost

安裝 Java

Java 是 Hadoop 和 HBase 的主要前提條件。首先，您應該使用“java -version”驗證系統中是否存在 Java。“java -version”命令的語法如下所示。

$ java -version

它應該產生以下輸出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系統中未安裝 Java，請按照以下步驟安裝 Java。

步驟 1

透過訪問以下連結下載 java（JDK <最新版本> - X64.tar.gz）：Oracle

然後將jdk-7u71-linux-x64.tar.gz 下載到您的系統。

步驟 2

通常，您可以在“下載”資料夾中找到下載的 Java 檔案。驗證它並使用以下命令解壓縮jdk-7u71-linux-x64.gz檔案。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

步驟 3

要使所有使用者都能使用 Java，您需要將其移動到“/usr/local/”位置。開啟 root，並輸入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步驟 4

要設定PATH和JAVA_HOME變數，請將以下命令新增到~/.bashrc 檔案中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

現在，如上所述，從終端驗證java -version命令。

下載 Hadoop

安裝 Java 後，您需要首先安裝 Hadoop。使用如下所示的“Hadoop version”命令驗證 Hadoop 的存在。

hadoop version

它應該產生以下輸出。

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /home/hadoop/hadoop/share/hadoop/common/hadoopcommon-2.6.0.jar

如果您的系統無法找到 Hadoop，則下載 Hadoop 並將其安裝到您的系統中。請按照以下命令操作。

使用以下命令從 Apache 軟體基金會下載並解壓縮 hadoop-2.6.0。

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

安裝 Hadoop

以任何所需的模式安裝 Hadoop。在這裡，我們演示的是偽分散式模式下的 HBase 功能，因此請以偽分散式模式安裝 Hadoop。

按照以下步驟在您的系統上安裝Hadoop 2.4.1。

步驟 1：設定 Hadoop

您可以透過將以下命令附加到~/.bashrc檔案中來設定 Hadoop 環境變數。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

現在，將所有更改應用到當前執行的系統。

$ source ~/.bashrc

步驟 2：Hadoop 配置

您可以在“$HADOOP_HOME/etc/hadoop”位置找到所有 Hadoop 配置檔案。需要根據您的 Hadoop 基礎架構更改這些配置檔案。

$ cd $HADOOP_HOME/etc/hadoop

為了用 Java 開發 Hadoop 程式，您需要透過將JAVA_HOME值替換為系統中 Java 的位置來重置hadoop-env.sh檔案中的 Java 環境變數。

export JAVA_HOME=/usr/local/jdk1.7.0_71

以下是您必須編輯以配置 Hadoop 的檔案列表。

core-site.xml

core-site.xml檔案包含諸如 Hadoop 例項使用的埠號、為檔案系統分配的記憶體、儲存資料的記憶體限制以及讀/寫緩衝區大小等資訊。

開啟 core-site.xml 並將以下屬性新增到<configuration>，</configuration>標籤之間。

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://:9000</value>
   </property>
</configuration>

hdfs-site.xm

hdfs-site.xml檔案包含諸如複製資料的值、namenode 路徑和本地檔案系統的 datanode 路徑等資訊。這意味著您要儲存 Hadoop 基礎架構的位置。

讓我們假設以下資料。

dfs.replication (data replication value) = 1

(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

開啟此檔案，並將以下屬性新增到此檔案中的<configuration>，</configuration>標籤之間。

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
	
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
   </property>
	
   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
   </property>
</configuration>

注意：在上文中，所有屬性值都是使用者定義的。您可以根據您的 Hadoop 基礎架構進行更改。

mapred-site.xml

此檔案用於將 yarn 配置到 Hadoop 中。開啟 mapred-site.xml 檔案，並將以下屬性新增到此檔案中的<configuration>，</configuration>標籤之間。

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>

mapred-site.xml

此檔案用於指定我們正在使用哪個 MapReduce 框架。預設情況下，Hadoop 包含 mapred-site.xml 的模板。首先，需要使用以下命令將檔案從mapred-site.xml.template複製到mapred-site.xml檔案。

$ cp mapred-site.xml.template mapred-site.xml

開啟mapred-site.xml檔案，並將以下屬性新增到此檔案中的<configuration>，</configuration>標籤之間。

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

驗證 Hadoop 安裝

以下步驟用於驗證 Hadoop 安裝。

步驟 1：Name Node 設定

使用命令“hdfs namenode -format”設定 namenode，如下所示。

$ cd ~
$ hdfs namenode -format

預期結果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain
1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

步驟 2：驗證 Hadoop dfs

以下命令用於啟動 dfs。此命令將啟動您的 Hadoop 檔案系統。

$ start-dfs.sh

預期輸出如下。

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

步驟 3：驗證 Yarn 指令碼

以下命令用於啟動 yarn 指令碼。執行此命令將啟動您的 yarn 守護程式。

$ start-yarn.sh

預期輸出如下。

starting yarn daemons
starting resource manager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-
hadoop-resourcemanager-localhost.out
localhost: starting node manager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步驟 4：在瀏覽器上訪問 Hadoop

訪問 hadoop 的預設埠號為 50070。使用以下 URL 在瀏覽器上獲取 Hadoop 服務。

https://:50070/

Accessing Hadoop

步驟 5：驗證叢集的所有應用程式

訪問叢集所有應用程式的預設埠號為 8088。使用以下 URL 訪問此服務。

https://:8088/
Applications for Cluster

下載 Mahout

Mahout 可在網站Mahout上找到。從網站提供的連結下載 Mahout。以下是網站的螢幕截圖。

Downloading Mahout

步驟 1

使用以下命令從連結 https://mahout.apache.org/general/downloads下載 Apache mahout。

[Hadoop@localhost ~]$ wget
http://mirror.nexcess.net/apache/mahout/0.9/mahout-distribution-0.9.tar.gz

然後將mahout-distribution-0.9.tar.gz下載到您的系統。

步驟 2

瀏覽儲存mahout-distribution-0.9.tar.gz的資料夾，並解壓縮下載的 jar 檔案，如下所示。

[Hadoop@localhost ~]$ tar zxvf mahout-distribution-0.9.tar.gz

Maven 倉庫

以下是使用 Eclipse 構建 Apache Mahout 的 pom.xml。

<dependency>
   <groupId>org.apache.mahout</groupId>
   <artifactId>mahout-core</artifactId>
   <version>0.9</version>
</dependency>

<dependency>
   <groupId>org.apache.mahout</groupId>
   <artifactId>mahout-math</artifactId>
   <version>${mahout.version}</version>
</dependency>

<dependency>
   <groupId>org.apache.mahout</groupId>
   <artifactId>mahout-integration</artifactId>
   <version>${mahout.version}</version>
</dependency>
列印頁面
上一頁
下一頁
廣告
© . All rights reserved.