- Apache Flume 教程
- Apache Flume - 首頁
- Apache Flume - 簡介
- Hadoop中的資料傳輸
- Apache Flume - 架構
- Apache Flume - 資料流
- Apache Flume - 環境
- Apache Flume - 配置
- Apache Flume - 獲取Twitter資料
- 序列生成器Source
- Apache Flume - NetCat Source
- Apache Flume 資源
- Apache Flume - 快速指南
- Apache Flume - 有用資源
- Apache Flume - 討論
Apache Flume - 環境
我們已經在上一章節討論了Flume的架構。本章節,我們將學習如何下載和安裝Apache Flume。
在繼續之前,你需要在你的系統中配置好Java環境。所以首先,確保你的系統已經安裝了Java。本教程中的一些示例使用了Hadoop HDFS(作為sink)。因此,我們建議你安裝Hadoop和Java。更多資訊,請訪問以下連結:https://tutorialspoint.tw/hadoop/hadoop_enviornment_setup.htm
安裝Flume
首先,從官網下載最新版本的Apache Flume軟體: https://flume.apache.org/.
步驟1
開啟網站。點選主頁左側的下載連結。它將帶你到Apache Flume的下載頁面。
步驟2
在下載頁面,你可以看到Apache Flume的二進位制檔案和原始檔的連結。點選連結apache-flume-1.6.0-bin.tar.gz
你將被重定向到一個映象列表,你可以點選任意一個映象開始下載。同樣地,你可以透過點選apache-flume-1.6.0-src.tar.gz下載Apache Flume的原始碼。
步驟3
在你已經安裝了Hadoop、HBase和其他軟體的安裝目錄下(如果你已經安裝了任何軟體),建立一個名為Flume的目錄,如下所示。
$ mkdir Flume
步驟4
解壓下載的tar檔案,如下所示。
$ cd Downloads/ $ tar zxvf apache-flume-1.6.0-bin.tar.gz $ tar zxvf apache-flume-1.6.0-src.tar.gz
步驟5
將apache-flume-1.6.0-bin.tar檔案的內容移動到前面建立的Flume目錄中,如下所示。(假設我們在名為Hadoop的本地使用者下建立了Flume目錄。)
$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/
配置Flume
要配置Flume,我們必須修改三個檔案:flume-env.sh, flume-conf.properties, 和 .bashrc。
設定路徑/類路徑
在.bashrc檔案中,設定Flume的主資料夾、路徑和類路徑,如下所示。
conf資料夾
如果你開啟Apache Flume的conf資料夾,你會看到以下四個檔案:
- flume-conf.properties.template,
- flume-env.sh.template,
- flume-env.ps1.template, 和
- log4j.properties.
現在重新命名
flume-conf.properties.template 檔案為 flume-conf.properties,並且
flume-env.sh.template 為 flume-env.sh
flume-env.sh
開啟flume-env.sh檔案並設定JAVA_HOME到你係統中Java的安裝資料夾。
驗證安裝
透過瀏覽bin資料夾並鍵入以下命令來驗證Apache Flume的安裝。
$ ./flume-ng
如果你成功安裝了Flume,你將得到Flume的幫助提示,如下所示。