Apache Pig - 處理壓縮

我們可以使用函式BinStorage()和TextLoader()在Apache Pig中載入和儲存壓縮資料。

示例

假設我們在HDFS目錄/pigdata/中有一個名為employee.txt.zip的檔案。然後，我們可以如下所示將壓縮檔案載入到Pig中。

Using PigStorage: 
 
grunt> data = LOAD 'hdfs://:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
 
Using TextLoader:
  
grunt> data = LOAD 'hdfs://:9000/pig_data/employee.txt.zip' USING TextLoader;

同樣，我們可以如下所示將壓縮檔案儲存到Pig中。

Using PigStorage:
  
grunt> store data INTO 'hdfs://:9000/pig_Output/data.bz' USING PigStorage(',');