Apache Pig – 加入运算符
Apache Pig – 加入运算符
在JOIN操作符是用来记录从两个或两个以上的关系结合起来。在执行连接操作时，我们将每个关系中的一个（或一组）元组声明为键。当这些键匹配时，两个特定的元组匹配，否则记录被删除。连接可以是以下类型 –
- 自加入
- 内部联接
- 外连接 – 左连接、右连接和完全连接
本章通过示例说明如何使用 Pig Latin 中的连接运算符。假设我们在HDFS的/pig_data/目录中有两个文件，customers.txt和orders.txt，如下所示。
客户.txt
1,Ramesh,32,Ahmedabad,2000.00 2,Khilan,25,Delhi,1500.00 3,kaushik,23,Kota,2000.00 4,Chaitali,25,Mumbai,6500.00 5,Hardik,27,Bhopal,8500.00 6,Komal,22,MP,4500.00 7,Muffy,24,Indore,10000.00
订单.txt
102,2009-10-08 00:00:00,3,3000 100,2009-10-08 00:00:00,3,1500 101,2009-11-20 00:00:00,2,1560 103,2008-05-20 00:00:00,4,2060
我们已经将这两个文件加载到 Pig 中，其中包含客户和订单的关系，如下所示。
grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
as (oid:int, date:chararray, customer_id:int, amount:int);
现在让我们对这两个关系执行各种 Join 操作。
自加入
自联接用于将表与自身联接，就好像该表是两个关系一样，临时重命名至少一个关系。
通常，在 Apache Pig 中，为了执行自联接，我们会在不同的别名（名称）下多次加载相同的数据。因此，让我们将文件customers.txt的内容加载为两个表，如下所示。
grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
句法
下面给出了使用JOIN运算符执行自联接操作的语法。
grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;
例子
让我们对关系customers进行自连接操作，通过连接两个关系customers1和customers2，如下所示。
grunt> customers3 = JOIN customers1 BY id, customers2 BY id;
确认
使用DUMP运算符验证关系customers3，如下所示。
grunt> Dump customers3;
输出
它将产生以下输出，显示关系customers的内容。
(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000) (2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500) (3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000) (4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500) (5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500) (6,Komal,22,MP,4500,6,Komal,22,MP,4500) (7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)
内部联接
Inner Join使用非常频繁；它也称为equijoin。当两个表中存在匹配时，内部联接返回行。
它通过基于连接谓词组合两个关系（例如 A 和 B）的列值来创建新关系。该查询将 A 的每一行与 B 的每一行进行比较，以找到满足连接谓词的所有行对。当满足连接谓词时，A 和 B 的每对匹配的行的列值组合成一个结果行。
句法
下面是使用JOIN运算符执行内连接操作的语法。
grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;
例子
让我们对客户和订单这两个关系进行内连接操作，如下所示。
grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;
确认
使用DUMP运算符验证关系coustomer_orders，如下所示。
grunt> Dump coustomer_orders;
输出
您将获得以下输出，其中包含名为coustomer_orders的关系的内容。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
注意–
外连接：与内连接不同，外连接返回来自至少一个关系的所有行。外连接操作以三种方式进行 –
- 左外连接
- 右外连接
- 全外连接
左外连接
在LEFT OUTER JOIN操作返回的所有行左表中，即使是在正确的关系不匹配。
句法
下面给出了使用JOIN运算符执行左外连接操作的语法。
grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;
例子
让我们对两个关系客户和订单执行左外连接操作，如下所示。
grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;
确认
使用DUMP运算符验证关系outer_left，如下所示。
grunt> Dump outer_left;
输出
它将产生以下输出，显示关系outer_left的内容。
(1,Ramesh,32,Ahmedabad,2000,,,,) (2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060) (5,Hardik,27,Bhopal,8500,,,,) (6,Komal,22,MP,4500,,,,) (7,Muffy,24,Indore,10000,,,,)
右外连接
在右外连接操作返回的所有行右表中，即使有左表中的不匹配。
句法
下面给出了使用JOIN运算符执行右外连接操作的语法。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
例子
让我们对两个关系客户和订单执行右外连接操作，如下所示。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
确认
使用DUMP运算符验证关系outer_right，如下所示。
grunt> Dump outer_right
输出
它将产生以下输出，显示关系outer_right的内容。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
全外连接
当其中一个关系匹配时，全外连接操作返回行。
句法
下面给出了使用JOIN运算符执行完全外连接的语法。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
例子
让我们对两个关系客户和订单执行全外连接操作，如下所示。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
确认
使用DUMP运算符验证关系outer_full，如下所示。
grun> Dump outer_full;
输出
它将产生以下输出，显示关系outer_full的内容。
(1,Ramesh,32,Ahmedabad,2000,,,,) (2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060) (5,Hardik,27,Bhopal,8500,,,,) (6,Komal,22,MP,4500,,,,) (7,Muffy,24,Indore,10000,,,,)
使用多个键
我们可以使用多个键来执行 JOIN 操作。
句法
以下是如何使用多个键对两个表执行 JOIN 操作。
grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);
假设我们在HDFS的/pig_data/目录中有两个文件，即employee.txt和employee_contact.txt，如下所示。
员工.txt
001,Rajiv,Reddy,21,programmer,003 002,siddarth,Battacharya,22,programmer,003 003,Rajesh,Khanna,22,programmer,003 004,Preethi,Agarwal,21,programmer,003 005,Trupthi,Mohanthy,23,programmer,003 006,Archana,Mishra,23,programmer,003 007,Komal,Nayak,24,teamlead,002 008,Bharathi,Nambiayar,24,manager,001
员工联系人.txt
001,9848022337,[email protected],Hyderabad,003 002,9848022338,[email protected],Kolkata,003 003,9848022339,[email protected],Delhi,003 004,9848022330,[email protected],Pune,003 005,9848022336,[email protected],Bhuwaneshwar,003 006,9848022335,[email protected],Chennai,003 007,9848022334,[email protected],trivendram,002 008,9848022333,[email protected],Chennai,001
我们已经将这两个文件加载到 Pig 中，其关系为employee和employee_contact，如下所示。
grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',')
as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);
现在，让我们使用JOIN运算符连接这两个关系的内容，如下所示。
grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);
确认
使用DUMP运算符验证关系emp，如下所示。
grunt> Dump emp;
输出
它将产生以下输出，显示名为emp的关系的内容，如下所示。
(1,Rajiv,Reddy,21,programmer,113,1,9848022337,[email protected],Hyderabad,113) (2,siddarth,Battacharya,22,programmer,113,2,9848022338,[email protected],Kolka ta,113) (3,Rajesh,Khanna,22,programmer,113,3,9848022339,[email protected],Delhi,113) (4,Preethi,Agarwal,21,programmer,113,4,9848022330,[email protected],Pune,113) (5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,[email protected],Bhuwaneshw ar,113) (6,Archana,Mishra,23,programmer,113,6,9848022335,[email protected],Chennai,113) (7,Komal,Nayak,24,teamlead,112,7,9848022334,[email protected],trivendram,112) (8,Bharathi,Nambiayar,24,manager,111,8,9848022333,[email protected],Chennai,111)
