Sqoop - 作業



本章介紹如何建立和維護 Sqoop 作業。Sqoop 作業建立並儲存匯入和匯出命令。它指定用於識別和呼叫已儲存作業的引數。這種重新呼叫或重新執行用於增量匯入,它可以將 RDBMS 表中的更新行匯入到 HDFS。

語法

以下是建立 Sqoop 作業的語法。

$ sqoop job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

$ sqoop-job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

建立作業(--create)

現在我們建立一個名為 **myjob** 的作業,該作業可以將表資料從 RDBMS 表匯入到 HDFS。以下命令用於建立一個作業,該作業將 **db** 資料庫中 **employee** 表中的資料匯入到 HDFS 檔案。

$ sqoop job --create myjob \
-- import \
--connect jdbc:mysql:///db \
--username root \
--table employee --m 1

驗證作業(--list)

“--list” 引數用於驗證已儲存的作業。以下命令用於驗證已儲存的 Sqoop 作業列表。

$ sqoop job --list

它顯示已儲存的作業列表。

Available jobs: 
   myjob

檢查作業(--show)

“--show” 引數用於檢查或驗證特定作業及其詳細資訊。以下命令和示例輸出用於驗證一個名為 **myjob** 的作業。

$ sqoop job --show myjob

它顯示 **myjob** 中使用的工具及其選項。

Job: myjob 
 Tool: import Options:
 ---------------------------- 
 direct.import = true
 codegen.input.delimiters.record = 0
 hdfs.append.dir = false 
 db.table = employee
 ...
 incremental.last.value = 1206
 ...

執行作業(--exec)

“--exec” 選項用於執行已儲存的作業。以下命令用於執行一個名為 **myjob** 的已儲存作業。

$ sqoop job --exec myjob

它顯示以下輸出。

10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation 
...
廣告