Hive - 安裝

上一頁
下一頁

所有 Hadoop 子專案，如 Hive、Pig 和 HBase 都支援 Linux 作業系統。因此，您需要安裝任何 Linux 發行版的作業系統。以下是 Hive 安裝執行的簡單步驟

步驟 1：驗證 JAVA 安裝

在安裝 Hive 之前，必須在您的系統上安裝 Java。讓我們使用以下命令驗證 java 安裝

$ java –version

如果您的系統上已安裝 Java，您將看到以下響應

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系統中未安裝 java，請按照以下步驟安裝 java。

安裝 Java

步驟 I

透過訪問以下連結下載 java（JDK <最新版本> - X64.tar.gz）http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html.

然後 jdk-7u71-linux-x64.tar.gz 將下載到您的系統上。

步驟 II

通常您會在 Downloads 資料夾中找到下載的 java 檔案。驗證它並使用以下命令解壓縮 jdk-7u71-linux-x64.gz 檔案。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

步驟 III

要使所有使用者都能使用 java，您必須將其移動到“/usr/local/”位置。開啟 root，並輸入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步驟 IV

要設定 PATH 和 JAVA_HOME 變數，請將以下命令新增到 ~/.bashrc 檔案中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=$PATH:$JAVA_HOME/bin

現在將所有更改應用到當前正在執行的系統中。

$ source ~/.bashrc

步驟 V

使用以下命令配置 java 備選方案

# alternatives --install /usr/bin/java/java/usr/local/java/bin/java 2

# alternatives --install /usr/bin/javac/javac/usr/local/java/bin/javac 2

# alternatives --install /usr/bin/jar/jar/usr/local/java/bin/jar 2

# alternatives --set java/usr/local/java/bin/java

# alternatives --set javac/usr/local/java/bin/javac

# alternatives --set jar/usr/local/java/bin/jar

現在使用終端中的命令 java -version 驗證安裝，如上所述。

步驟 2：驗證 Hadoop 安裝

在安裝 Hive 之前，必須在您的系統上安裝 Hadoop。讓我們使用以下命令驗證 Hadoop 安裝

$ hadoop version

如果您的系統上已安裝 Hadoop，那麼您將獲得以下響應

Hadoop 2.4.1 Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768 
Compiled by hortonmu on 2013-10-07T06:28Z 
Compiled with protoc 2.5.0 
From source with checksum 79e53ce7994d1628b240f09af91e1af4

如果您的系統上未安裝 Hadoop，請繼續執行以下步驟

下載 Hadoop

使用以下命令從 Apache 軟體基金會下載並解壓縮 Hadoop 2.4.1。

$ su
password:
# cd /usr/local
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit

以偽分散式模式安裝 Hadoop

以下步驟用於以偽分散式模式安裝 Hadoop 2.4.1。

步驟 I：設定 Hadoop

您可以透過將以下命令追加到~/.bashrc 檔案中來設定 Hadoop 環境變數。

export HADOOP_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

現在將所有更改應用到當前正在執行的系統中。

$ source ~/.bashrc

步驟 II：Hadoop 配置

您可以在“$HADOOP_HOME/etc/hadoop”位置找到所有 Hadoop 配置檔案。您需要根據您的 Hadoop 基礎架構對這些配置檔案進行適當的更改。

$ cd $HADOOP_HOME/etc/hadoop

為了使用 java 開發 Hadoop 程式，您必須透過將JAVA_HOME 值替換為系統中 java 的位置來重置hadoop-env.sh 檔案中的 java 環境變數。

export JAVA_HOME=/usr/local/jdk1.7.0_71

以下是您必須編輯以配置 Hadoop 的檔案列表。

core-site.xml

core-site.xml 檔案包含諸如 Hadoop 例項使用的埠號、為檔案系統分配的記憶體、儲存資料的記憶體限制以及讀/寫緩衝區大小等資訊。

開啟 core-site.xml 並將以下屬性新增到<configuration>和</configuration>標籤之間。

<configuration>

   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://:9000</value> 
   </property>
   
</configuration>

hdfs-site.xml

hdfs-site.xml 檔案包含諸如複製資料的值、namenode 路徑以及本地檔案系統的 datanode 路徑等資訊。這意味著您希望儲存 Hadoop 基礎架構的位置。

讓我們假設以下資料。

dfs.replication (data replication value) = 1

(In the following path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)

namenode path = //home/hadoop/hadoopinfra/hdfs/namenode

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

開啟此檔案並在該檔案的<configuration>、</configuration>標籤之間新增以下屬性。

<configuration>

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
   <property> 
      <name>dfs.name.dir</name> 
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value> 
   </property> 
   <property> 
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value > 
   </property>
   
</configuration>

注意：在以上檔案中，所有屬性值都是使用者定義的，您可以根據您的 Hadoop 基礎架構進行更改。

yarn-site.xml

此檔案用於將 yarn 配置到 Hadoop 中。開啟 yarn-site.xml 檔案並在該檔案的<configuration>、</configuration>標籤之間新增以下屬性。

<configuration>

   <property> 
      <name>yarn.nodemanager.aux-services</name> 
      <value>mapreduce_shuffle</value> 
   </property>
   
</configuration>

mapred-site.xml

此檔案用於指定我們正在使用哪個 MapReduce 框架。預設情況下，Hadoop 包含 yarn-site.xml 的模板。首先，您需要使用以下命令將檔案從 mapred-site,xml.template 複製到 mapred-site.xml 檔案。

$ cp mapred-site.xml.template mapred-site.xml

開啟mapred-site.xml 檔案並在該檔案的<configuration>、</configuration>標籤之間新增以下屬性。

<configuration>

   <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value> 
   </property>

</configuration>

驗證 Hadoop 安裝

以下步驟用於驗證 Hadoop 安裝。

步驟 I：Name Node 設定

使用命令“hdfs namenode -format”設定 namenode，如下所示。

$ cd ~
$ hdfs namenode -format

預期結果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = localhost/192.168.1.11 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 2.4.1 
... 
... 
10/24/14 21:30:56 INFO common.Storage: Storage directory 
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to 
retain 1 images with txid >= 0 
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
 ************************************************************/

步驟 II：驗證 Hadoop dfs

以下命令用於啟動 dfs。執行此命令將啟動您的 Hadoop 檔案系統。

$ start-dfs.sh

預期輸出如下

10/24/14 21:37:56 
Starting namenodes on [localhost] 
localhost: starting namenode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-localhost.out 
localhost: starting datanode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-localhost.out 
Starting secondary namenodes [0.0.0.0]

步驟 III：驗證 Yarn 指令碼

以下命令用於啟動 yarn 指令碼。執行此命令將啟動您的 yarn 守護程序。

$ start-yarn.sh

預期輸出如下

starting yarn daemons 
starting resourcemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out 
localhost: starting nodemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步驟 IV：在瀏覽器上訪問 Hadoop

訪問 Hadoop 的預設埠號為 50070。使用以下網址在瀏覽器上獲取 Hadoop 服務。

https://:50070/
Hadoop Browser

步驟 V：驗證叢集的所有應用程式

訪問叢集所有應用程式的預設埠號為 8088。使用以下網址訪問此服務。

https://:8088/
All Applications

步驟 3：下載 Hive

本教程中我們使用 hive-0.14.0。您可以透過訪問以下連結下載它http://apache.petsads.us/hive/hive-0.14.0/.讓我們假設它下載到 /Downloads 目錄中。在這裡，我們為本教程下載名為“apache-hive-0.14.0-bin.tar.gz”的 Hive 存檔。以下命令用於驗證下載

$ cd Downloads
$ ls

下載成功後，您將看到以下響應

apache-hive-0.14.0-bin.tar.gz

步驟 4：安裝 Hive

以下步驟是將 Hive 安裝到您的系統中所需的步驟。讓我們假設 Hive 存檔已下載到 /Downloads 目錄中。

解壓縮和驗證 Hive 存檔

以下命令用於驗證下載並解壓縮 hive 存檔

$ tar zxvf apache-hive-0.14.0-bin.tar.gz
$ ls

下載成功後，您將看到以下響應

apache-hive-0.14.0-bin apache-hive-0.14.0-bin.tar.gz

將檔案複製到 /usr/local/hive 目錄

我們需要從超級使用者“su -”複製檔案。以下命令用於將檔案從解壓縮的目錄複製到“/usr/local/hive”目錄。

$ su -
passwd:

# cd /home/user/Download
# mv apache-hive-0.14.0-bin /usr/local/hive
# exit

設定 Hive 的環境

您可以透過將以下行追加到~/.bashrc 檔案中來設定 Hive 環境

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

以下命令用於執行 ~/.bashrc 檔案。

$ source ~/.bashrc

步驟 5：配置 Hive

要將 Hive 與 Hadoop 配合使用，您需要編輯hive-env.sh 檔案，該檔案位於$HIVE_HOME/conf 目錄中。以下命令重定向到 Hiveconfig 資料夾並複製模板檔案

$ cd $HIVE_HOME/conf
$ cp hive-env.sh.template hive-env.sh

透過追加以下行編輯hive-env.sh 檔案

export HADOOP_HOME=/usr/local/hadoop

Hive 安裝已成功完成。現在您需要一個外部資料庫伺服器來配置 Metastore。我們使用 Apache Derby 資料庫。

步驟 6：下載和安裝 Apache Derby

請按照以下步驟下載和安裝 Apache Derby

下載 Apache Derby

以下命令用於下載 Apache Derby。下載需要一些時間。

$ cd ~
$ wget http://archive.apache.org/dist/db/derby/db-derby-10.4.2.0/db-derby-10.4.2.0-bin.tar.gz

以下命令用於驗證下載

$ ls

下載成功後，您將看到以下響應

db-derby-10.4.2.0-bin.tar.gz

解壓縮和驗證 Derby 存檔

以下命令用於解壓縮和驗證 Derby 存檔

$ tar zxvf db-derby-10.4.2.0-bin.tar.gz
$ ls

下載成功後，您將看到以下響應

db-derby-10.4.2.0-bin db-derby-10.4.2.0-bin.tar.gz

將檔案複製到 /usr/local/derby 目錄

我們需要從超級使用者“su -”複製。以下命令用於將檔案從解壓縮的目錄複製到 /usr/local/derby 目錄

$ su -
passwd:
# cd /home/user
# mv db-derby-10.4.2.0-bin /usr/local/derby
# exit

設定 Derby 的環境

您可以透過將以下行追加到~/.bashrc 檔案中來設定 Derby 環境

export DERBY_HOME=/usr/local/derby
export PATH=$PATH:$DERBY_HOME/bin
Apache Hive
18
export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar

以下命令用於執行~/.bashrc 檔案

$ source ~/.bashrc

建立目錄以儲存 Metastore

在 $DERBY_HOME 目錄中建立一個名為 data 的目錄以儲存 Metastore 資料。

$ mkdir $DERBY_HOME/data

Derby 安裝和環境設定現已完成。

步驟 7：配置 Hive 的 Metastore

配置 Metastore 意味著向 Hive 指定資料庫儲存在哪裡。您可以透過編輯 hive-site.xml 檔案來實現此目的，該檔案位於 $HIVE_HOME/conf 目錄中。首先，使用以下命令複製模板檔案

$ cd $HIVE_HOME/conf
$ cp hive-default.xml.template hive-site.xml

編輯hive-site.xml 並將以下行新增到<configuration>和</configuration>標籤之間

<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:derby://:1527/metastore_db;create=true </value>
   <description>JDBC connect string for a JDBC metastore </description>
</property>

建立一個名為 jpox.properties 的檔案，並在其中新增以下行

javax.jdo.PersistenceManagerFactoryClass =

org.jpox.PersistenceManagerFactoryImpl
org.jpox.autoCreateSchema = false
org.jpox.validateTables = false
org.jpox.validateColumns = false
org.jpox.validateConstraints = false
org.jpox.storeManagerType = rdbms
org.jpox.autoCreateSchema = true
org.jpox.autoStartMechanismMode = checked
org.jpox.transactionIsolation = read_committed
javax.jdo.option.DetachAllOnCommit = true
javax.jdo.option.NontransactionalRead = true
javax.jdo.option.ConnectionDriverName = org.apache.derby.jdbc.ClientDriver
javax.jdo.option.ConnectionURL = jdbc:derby://hadoop1:1527/metastore_db;create = true
javax.jdo.option.ConnectionUserName = APP
javax.jdo.option.ConnectionPassword = mine

步驟 8：驗證 Hive 安裝

在執行 Hive 之前，您需要建立/tmp 資料夾和 HDFS 中的單獨 Hive 資料夾。在這裡，我們使用/user/hive/warehouse 資料夾。您需要為這些新建立的檔案設定寫入許可權，如下所示

chmod g+w

現在在驗證 Hive 之前將它們設定在 HDFS 中。使用以下命令

$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp 
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

以下命令用於驗證 Hive 安裝

$ cd $HIVE_HOME
$ bin/hive

Hive 安裝成功後，您將看到以下響應

Logging initialized using configuration in jar:file:/home/hadoop/hive-0.9.0/lib/hive-common-0.9.0.jar!/hive-log4j.properties 
Hive history file=/tmp/hadoop/hive_job_log_hadoop_201312121621_1494929084.txt
………………….
hive>

以下示例命令用於顯示所有表

hive> show tables; 
OK 
Time taken: 2.798 seconds 
hive>
列印頁面
上一頁
下一頁
廣告

© . All rights reserved.