Apache Spark - 安裝

Spark 是 Hadoop 的子專案。因此，最好將 Spark 安裝到基於 Linux 的系統中。以下步驟演示如何安裝 Apache Spark。

步驟 1：驗證 Java 安裝

Java 安裝是安裝 Spark 的必備條件之一。嘗試使用以下命令驗證 JAVA 版本。

$java -version

如果 Java 已安裝在您的系統上，您將看到以下響應：

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您系統上未安裝 Java，請在繼續下一步之前安裝 Java。

步驟 2：驗證 Scala 安裝

您應該使用 Scala 語言來實現 Spark。因此，讓我們使用以下命令驗證 Scala 安裝。

$scala -version

如果 Scala 已安裝在您的系統上，您將看到以下響應：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

如果您系統上未安裝 Scala，請繼續下一步安裝 Scala。

步驟 3：下載 Scala

訪問以下連結下載最新版本的 Scala：下載 Scala。在本教程中，我們使用的是 scala-2.11.6 版本。下載後，您將在下載資料夾中找到 Scala tar 檔案。

步驟 4：安裝 Scala

請按照以下步驟安裝 Scala。

解壓 Scala tar 檔案

輸入以下命令解壓 Scala tar 檔案：

$ tar xvf scala-2.11.6.tgz

移動 Scala 軟體檔案

使用以下命令將 Scala 軟體檔案移動到相應的目錄 **(/usr/local/scala)**。

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

設定 Scala 的 PATH

使用以下命令設定 Scala 的 PATH。

$ export PATH = $PATH:/usr/local/scala/bin

驗證 Scala 安裝

安裝後，最好進行驗證。使用以下命令驗證 Scala 安裝。

$scala -version

如果 Scala 已安裝在您的系統上，您將看到以下響應：

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

步驟 5：下載 Apache Spark

訪問以下連結下載最新版本的 Spark：下載 Spark。在本教程中，我們使用的是 **spark-1.3.1-bin-hadoop2.6** 版本。下載後，您將在下載資料夾中找到 Spark tar 檔案。

步驟 6：安裝 Spark

請按照以下步驟安裝 Spark。

解壓 Spark tar 檔案

以下命令用於解壓 Spark tar 檔案：

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

移動 Spark 軟體檔案

以下命令用於將 Spark 軟體檔案移動到相應的目錄 **(/usr/local/spark)**。

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

設定 Spark 的環境

將以下行新增到 ~**/.bashrc** 檔案中。這意味著將 Spark 軟體檔案所在的路徑新增到 PATH 變數。

export PATH=$PATH:/usr/local/spark/bin

使用以下命令載入 ~/.bashrc 檔案。

$ source ~/.bashrc

步驟 7：驗證 Spark 安裝

輸入以下命令開啟 Spark shell。

$spark-shell

如果 Spark 成功安裝，您將看到以下輸出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>

列印頁面