Apache Pig - 連線運算子

上一頁
下一頁

JOIN 運算子用於組合來自兩個或多個關係的記錄。在執行連線操作時，我們宣告每個關係中一個（或一組）元組作為鍵。當這些鍵匹配時，這兩個特定的元組將匹配，否則記錄將被丟棄。連線可以是以下型別：

  • 自連線
  • 內連線
  • 外連線 - 左連線、右連線和全連線

本章將透過示例解釋如何在 Pig Latin 中使用連線運算子。假設我們在 HDFS 的 /pig_data/ 目錄下有兩個檔案，名為 customers.txt 和 orders.txt，如下所示。

customers.txt

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00

orders.txt

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060

我們將這兩個檔案載入到 Pig 中，關係名為 customers 和 orders，如下所示。

grunt> customers = LOAD 'hdfs://:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);

現在讓我們對這兩個關係執行各種連線操作。

自連線

自連線用於將表與其自身連線，就好像該表是兩個關係一樣，至少臨時重新命名一個關係。

通常，在 Apache Pig 中，要執行自連線，我們將使用不同的別名（名稱）多次載入相同的資料。因此，讓我們將檔案 customers.txt 的內容載入到兩個表中，如下所示。

grunt> customers1 = LOAD 'hdfs://:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);

語法

以下是使用 JOIN 運算子執行 自連線操作的語法。

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

示例

讓我們對關係 customers 執行 自連線操作，方法是連線兩個關係 customers1 和 customers2，如下所示。

grunt> customers3 = JOIN customers1 BY id, customers2 BY id;

驗證

使用 DUMP 運算子驗證關係 customers3，如下所示。

grunt> Dump customers3;

輸出

它將產生以下輸出，顯示關係 customers 的內容。

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

內連線

內連線使用頻率很高；它也稱為等值連線。當兩個表中都有匹配項時，內連線返回行。

它透過根據連線謂詞組合兩個關係（例如 A 和 B）的列值來建立一個新關係。查詢比較 A 的每一行與 B 的每一行，以查詢滿足連線謂詞的所有行對。當連線謂詞滿足時，A 和 B 的每對匹配行的列值將組合到結果行中。

語法

以下是使用 JOIN 運算子執行 內連線操作的語法。

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

示例

讓我們對兩個關係 customers 和 orders 執行 內連線操作，如下所示。

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

驗證

使用 DUMP 運算子驗證關係 coustomer_orders，如下所示。

grunt> Dump coustomer_orders;

輸出

您將獲得以下輸出，其中包含名為 coustomer_orders 的關係的內容。

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

注意 -

外連線：與內連線不同，外連線返回至少一個關係中的所有行。外連線操作以三種方式進行：

  • 左外連線
  • 右外連線
  • 全外連線

左外連線

左外連線操作返回左表中的所有行，即使右關係中沒有匹配項。

語法

以下是使用 JOIN 運算子執行 左外連線操作的語法。

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

示例

讓我們對兩個關係 customers 和 orders 執行左外連線操作，如下所示。

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

驗證

使用 DUMP 運算子驗證關係 outer_left，如下所示。

grunt> Dump outer_left;

輸出

它將產生以下輸出，顯示關係 outer_left 的內容。

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

右外連線

右外連線操作返回右表中的所有行，即使左表中沒有匹配項。

語法

以下是使用 JOIN 運算子執行 右外連線操作的語法。

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

示例

讓我們對兩個關係 customers 和 orders 執行 右外連線操作，如下所示。

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

驗證

使用 DUMP 運算子驗證關係 outer_right，如下所示。

grunt> Dump outer_right

輸出

它將產生以下輸出，顯示關係 outer_right 的內容。

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

全外連線

全外連線操作在其中一個關係中有匹配項時返回行。

語法

以下是使用 JOIN 運算子執行 全外連線的語法。

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

示例

讓我們對兩個關係 customers 和 orders 執行 全外連線操作，如下所示。

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

驗證

使用 DUMP 運算子驗證關係 outer_full，如下所示。

grun> Dump outer_full;

輸出

它將產生以下輸出，顯示關係 outer_full 的內容。

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

使用多個鍵

我們可以使用多個鍵執行 JOIN 操作。

語法

以下是使用多個鍵對兩個表執行 JOIN 操作的方法。

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

假設我們在 HDFS 的 /pig_data/ 目錄下有兩個檔案，名為 employee.txt 和 employee_contact.txt，如下所示。

employee.txt

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt

001,9848022337,Rajiv@gmail.com,Hyderabad,003
002,9848022338,siddarth@gmail.com,Kolkata,003
003,9848022339,Rajesh@gmail.com,Delhi,003
004,9848022330,Preethi@gmail.com,Pune,003
005,9848022336,Trupthi@gmail.com,Bhuwaneshwar,003
006,9848022335,Archana@gmail.com,Chennai,003
007,9848022334,Komal@gmail.com,trivendram,002
008,9848022333,Bharathi@gmail.com,Chennai,001

我們將這兩個檔案載入到 Pig 中，關係名為 employee 和 employee_contact，如下所示。

grunt> employee = LOAD 'hdfs://:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

現在，讓我們使用 JOIN 運算子連線這兩個關係的內容，如下所示。

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

驗證

使用 DUMP 運算子驗證關係 emp，如下所示。

grunt> Dump emp;

輸出

它將產生以下輸出，顯示名為 emp 的關係的內容，如下所示。

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,Rajiv@gmail.com,Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,siddarth@gmail.com,Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,Rajesh@gmail.com,Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,Preethi@gmail.com,Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,Trupthi@gmail.com,Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,Archana@gmail.com,Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,Komal@gmail.com,trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,Bharathi@gmail.com,Chennai,111)
列印頁面
上一頁
下一頁
廣告
© . All rights reserved.