Apache Flume - 環境



我們已經在上一章節討論了Flume的架構。本章節,我們將學習如何下載和安裝Apache Flume。

在繼續之前,你需要在你的系統中配置好Java環境。所以首先,確保你的系統已經安裝了Java。本教程中的一些示例使用了Hadoop HDFS(作為sink)。因此,我們建議你安裝Hadoop和Java。更多資訊,請訪問以下連結:https://tutorialspoint.tw/hadoop/hadoop_enviornment_setup.htm

安裝Flume

首先,從官網下載最新版本的Apache Flume軟體: https://flume.apache.org/.

步驟1

開啟網站。點選主頁左側的下載連結。它將帶你到Apache Flume的下載頁面。

Installing Flume

步驟2

在下載頁面,你可以看到Apache Flume的二進位制檔案和原始檔的連結。點選連結apache-flume-1.6.0-bin.tar.gz

你將被重定向到一個映象列表,你可以點選任意一個映象開始下載。同樣地,你可以透過點選apache-flume-1.6.0-src.tar.gz下載Apache Flume的原始碼。

步驟3

在你已經安裝了HadoopHBase和其他軟體的安裝目錄下(如果你已經安裝了任何軟體),建立一個名為Flume的目錄,如下所示。

$ mkdir Flume 

步驟4

解壓下載的tar檔案,如下所示。

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

步驟5

將apache-flume-1.6.0-bin.tar檔案的內容移動到前面建立的Flume目錄中,如下所示。(假設我們在名為Hadoop的本地使用者下建立了Flume目錄。)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

配置Flume

要配置Flume,我們必須修改三個檔案:flume-env.sh, flume-conf.properties,.bashrc

設定路徑/類路徑

.bashrc檔案中,設定Flume的主資料夾、路徑和類路徑,如下所示。

setting the path

conf資料夾

如果你開啟Apache Flume的conf資料夾,你會看到以下四個檔案:

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template, 和
  • log4j.properties.
conf Folder

現在重新命名

  • flume-conf.properties.template 檔案為 flume-conf.properties,並且

  • flume-env.sh.templateflume-env.sh

flume-env.sh

開啟flume-env.sh檔案並設定JAVA_HOME到你係統中Java的安裝資料夾。

flume-env.sh

驗證安裝

透過瀏覽bin資料夾並鍵入以下命令來驗證Apache Flume的安裝。

$ ./flume-ng 

如果你成功安裝了Flume,你將得到Flume的幫助提示,如下所示。

Verifying the Installation
廣告
© . All rights reserved.