Apache Tajo - 配置設定

Tajo 的配置基於 Hadoop 的配置系統。本章詳細解釋 Tajo 配置設定。

基本設定

Tajo 使用以下兩個配置檔案：

• catalog-site.xml - 目錄伺服器的配置。
• tajo-site.xml - 其他 Tajo 模組的配置。

分散式模式配置

分散式模式設定執行在 Hadoop 分散式檔案系統 (HDFS) 上。讓我們按照步驟配置 Tajo 分散式模式設定。

tajo-site.xml

此檔案位於 /path/to/tajo/conf 目錄下，作為其他 Tajo 模組的配置。要在分散式模式下訪問 Tajo，請對“tajo-site.xml”進行以下更改。

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://hostname:port/tajo</value> 
</property>
  
<property> 
   <name>tajo.master.umbilical-rpc.address</name> 
   <value>hostname:26001</value> 
</property> 
 
<property> 
   <name>tajo.master.client-rpc.address</name> 
   <value>hostname:26002</value> 
</property>
  
<property> 
   <name>tajo.catalog.client-rpc.address</name> 
   <value>hostname:26005</value> 
</property>   

主節點配置

Tajo 使用 HDFS 作為主要儲存型別。配置如下，應新增到“tajo-site.xml”中。

<property> 
   <name>tajo.rootdir</name> 
   <value>hdfs://namenode_hostname:port/path</value> 
</property> 

目錄配置

如果您想自定義目錄服務，請將 $path/to/Tajo/conf/catalogsite.xml.template 複製到 $path/to/Tajo/conf/catalog-site.xml，並根據需要新增以下任何配置。

例如，如果您使用“Hive 目錄儲存”來訪問 Tajo，則配置應如下所示：

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.HCatalogStore</value> 
</property> 

如果您需要儲存MySQL目錄，則應用以下更改：

<property> 
   <name>tajo.catalog.store.class</name> 
   <value>org.apache.tajo.catalog.store.MySQLStore</value> 
</property> 

<property> 
   <name>tajo.catalog.jdbc.connection.id</name> 
   <value><mysql user name></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.connection.password</name> 
   <value><mysql user password></value> 
</property>
 
<property> 
   <name>tajo.catalog.jdbc.uri</name> 
   <value>jdbc:mysql://<mysql host name>:<mysql port>/<database name for tajo>
      ?createDatabaseIfNotExist = true</value> 
</property> 

類似地，您可以將其他 Tajo 支援的目錄註冊到配置檔案中。

工作節點配置

預設情況下，TajoWorker 將臨時資料儲存在本地檔案系統中。它在“tajo-site.xml”檔案中定義如下：

<property> 
   <name>tajo.worker.tmpdir.locations</name> 
   <value>/disk1/tmpdir,/disk2/tmpdir,/disk3/tmpdir</value> 
</property> 

為了增加每個工作節點資源執行任務的能力，請選擇以下配置：

<property> 
   <name>tajo.worker.resource.cpu-cores</name> 
   <value>12</value> 
</property>
 
<property> 
   <name>tajo.task.resource.min.memory-mb</name> 
   <value>2000</value> 
</property>
  
<property> 
   <name>tajo.worker.resource.disks</name> 
   <value>4</value> 
</property> 

為了使 Tajo worker 以專用模式執行，請選擇以下配置：

<property> 
   <name>tajo.worker.resource.dedicated</name> 
   <value>true</value> 
</property>