Apache Pig - 处理压缩

我们可以使用函数BinStorage()和TextLoader()在Apache Pig中加载和存储压缩数据。

示例

假设我们在HDFS目录/pigdata/中有一个名为employee.txt.zip的文件。然后，我们可以如下所示将压缩文件加载到Pig中。

Using PigStorage: 
 
grunt> data = LOAD 'hdfs://:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
 
Using TextLoader:
  
grunt> data = LOAD 'hdfs://:9000/pig_data/employee.txt.zip' USING TextLoader;

同样，我们可以如下所示将压缩文件存储到Pig中。

Using PigStorage:
  
grunt> store data INTO 'hdfs://:9000/pig_Output/data.bz' USING PigStorage(',');