Apache Tajo - OpenStack Swift 整合

Swift 是一種分散式且一致的物件/blob 儲存。Swift 為您提供雲端儲存軟體，以便您可以使用簡單的 API 儲存和檢索大量資料。Tajo 支援 Swift 整合。

以下是 Swift 整合的先決條件 −

• Swift
• Hadoop

Core-site.xml

將以下更改新增到 Hadoop “core-site.xml” 檔案 −

<property> 
   <name>fs.swift.impl</name> 
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value> 
   <description>File system implementation for Swift</description> 
</property>  

<property> 
   <name>fs.swift.blocksize</name> 
   <value>131072</value> 
   <description>Split size in KB</description> 
</property> 

此程式碼將用於 Hadoop 訪問 Swift 物件。對所有更改進行後，轉到 Tajo 目錄來設定 Swift 環境變數。

conf/tajo-env.h

開啟 Tajo 配置檔案，並新增以下環境變數 −

$ vi conf/tajo-env.h  
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar 

現在，Tajo 將能夠使用 Swift 查詢資料。

建立表

我們建立一個外部表來在 Tajo 中訪問 Swift 物件，如下所示 −

default> create external table swift(num1 int, num2 text, num3 float) 
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

建立表後，您可以執行 SQL 查詢。