Apache Pig - TextLoader()

Pig Latin 函数TextLoader()是一个加载函数，用于加载UTF-8格式的非结构化数据。

语法

以下是TextLoader()函数的语法。

grunt> TextLoader()

示例

假设在名为/data/的HDFS目录下有一个名为stu_data.txt的文件，内容如下所示。

001,Rajiv_Reddy,21,Hyderabad 
002,siddarth_Battacharya,22,Kolkata 
003,Rajesh_Khanna,22,Delhi 
004,Preethi_Agarwal,21,Pune 
005,Trupthi_Mohanthy,23,Bhuwaneshwar 
006,Archana_Mishra,23,Chennai 
007,Komal_Nayak,24,trivendram 
008,Bharathi_Nambiayar,24,Chennai

现在让我们使用TextLoader()函数加载上述文件。

grunt> details = LOAD 'hdfs://127.0.0.1:9000/pig_data/stu_data.txt' USING TextLoader();

您可以使用Dump操作符验证加载的数据。

grunt> dump details;
   
(001,Rajiv_Reddy,21,Hyderabad) 
(002,siddarth_Battacharya,22,Kolkata) 
(003,Rajesh_Khanna,22,Delhi) 
(004,Preethi_Agarwal,21,Pune) 
(005,Trupthi_Mohanthy,23,Bhuwaneshwar) 
(006,Archana_Mishra,23,Chennai) 
(007,Komal_Nayak,24,trivendram) 
(008,Bharathi_Nambiayar,24,Chennai)