Apache Pig - IsEmpty() 函数

Pig Latin 的 IsEmpty() 函数用于检查一个 Bag 或 Map 是否为空。

语法

以下是 IsEmpty() 函数的语法。

grunt> IsEmpty(expression)

示例

假设我们在 HDFS 目录 /pig_data/ 中有两个文件，分别为 emp_sales.txt 和 emp_bonus.txt，如下所示。emp_sales.txt 包含销售部门员工的详细信息，emp_bonus.txt 包含获得奖金的员工详细信息。

emp_sales.txt

1,Robin,22,25000,sales 
2,BOB,23,30000,sales 
3,Maya,23,25000,sales 
4,Sara,25,40000,sales 
5,David,23,45000,sales 
6,Maggy,22,35000,sales

emp_bonus.txt

1,Robin,22,25000,sales 
2,Jaya,23,20000,admin 
3,Maya,23,25000,sales 
4,Alia,25,50000,admin 
5,David,23,45000,sales 
6,Omar,30,30000,admin

我们将这些文件加载到 Pig 中，关系名分别为 emp_sales 和 emp_bonus，如下所示。

grunt> emp_sales = LOAD 'hdfs://127.0.0.1:9000/pig_data/emp_sales.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
	
grunt> emp_bonus = LOAD 'hdfs://127.0.0.1:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);

现在，我们使用 cogroup 操作符根据键 age 对关系 emp_sales 和 emp_bonus 的记录/元组进行分组，如下所示。

grunt> cogroup_data = COGROUP emp_sales by age, emp_bonus by age;

使用 DUMP 操作符验证关系 cogroup_data，如下所示。

grunt> Dump cogroup_data;
  
(22,{(6,Maggy,22,35000,sales),(1,Robin,22,25000,sales)}, {(1,Robin,22,25000,sales)}) 
(23,{(5,David,23,45000,sales),(3,Maya,23,25000,sales),(2,BOB,23,30000,sales)}, 
   {(5,David,23,45000,sales),(3,Maya,23,25000,sales),(2,Jaya,23,20000,admin)})  
(25,{(4,Sara,25,40000,sales)},{(4,Alia,25,50000,admin)}) 
(30,{},{(6,Omar,30,30000,admin)})

COGROUP 操作符根据年龄对每个关系中的元组进行分组。每个组表示一个特定的年龄值。

例如，如果我们考虑结果的第一个元组，它按年龄 22 进行分组。它包含两个 Bag，第一个 Bag 包含第一个关系（在本例中为 student_details）中所有年龄为 22 的元组，第二个 Bag 包含第二个关系（在本例中为 employee_details）中所有年龄为 22 的元组。如果某个关系没有年龄值为 22 的元组，则它返回一个空 Bag。

获取包含空 Bag 的组

让我们使用 IsEmpty() 函数列出组中来自 emp_sales 关系的这些空 Bag。

grunt> isempty_data = filter cogroup_data by IsEmpty(emp_sales);

验证

使用 DUMP 操作符验证关系 isempty_data，如下所示。emp_sales 关系包含关系 emp_bonus 中不存在的元组。

grunt> Dump isempty_data; 
  
(30,{},{(6,Omar,30,30000,admin)})