此文章是vip文章,如何查看?  

1,点击链接获取密钥 http://nicethemes.cn/product/view29882.html

2,在下方输入文章查看密钥即可立即查看当前vip文章


Pig-使用PigLatin操作员工表和部门表

  • 时间:
  • 浏览:
  • 来源:互联网

前提条件:

安装好hadoop2.7.3(Linux系统下)

安装好pig(Linux系统下),参考:Pig安装配置

 

准备源数据:


1. 打开终端,新建emp.csv文件

$ nano emp.csv

   输入内容如下,保存退出。

7369,SMITH,CLERK,7902,1980/12/17,800,,20
7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
7521,WARD,SALESMAN,7698,1981/2/22,1250,500,30
7566,JONES,MANAGER,7839,1981/4/2,2975,,20
7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
7698,BLAKE,MANAGER,7839,1981/5/1,2850,,30
7782,CLARK,MANAGER,7839,1981/6/9,2450,,10
7788,SCOTT,ANALYST,7566,1987/4/19,3000,,20
7839,KING,PRESIDENT,,1981/11/17,5000,,10
7844,TURNER,SALESMAN,7698,1981/9/8,1500,0,30
7876,ADAMS,CLERK,7788,1987/5/23,1100,,20
7900,JAMES,CLERK,7698,1981/12/3,950,,30
7902,FORD,ANALYST,7566,1981/12/3,3000,,20
7934,MILLER,CLERK,7782,1982/1/23,1300,,10

 2. 新建dept.csv文件

$ nano dept.csv

   输入以下内容,保存退出

10,ACCOUNTING,NEW YORK
20,RESEARCH,DALLAS
30,SALES,CHICAGO
40,OPERATIONS,BOSTON

开启jobhistoryserver进程:

    jps确认hadoop进程是否完全开启,如果没有开启,用start-all.sh命令开启。此外,还要打开jobhistory进程,命令为:

$ mr-jobhistory-daemon.sh start historyserver

   jps命令可以发现多了一个进程:JobHistoryServer ,如果不开启jobhistory,执行dump命令会报错10020端口连接拒绝异常:

java.io.IOException: java.net.ConnectException: Call From node1/192.168.249.131 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

 

实验操作:

把上面两张表上传到hdfs某个目录下,如/001/pig,001表示学号,注意修改。

hdfs dfs -mkdir -p /001/pig
hdfs dfs -put dept.csv /001/pig
hdfs dfs -put emp.csv /001/pig

(1)启动pig

$ pig

(2) 加载hdfs中的文件,创建员工表、部门表

emp = load '/001/pig/emp.csv' using PigStorage(',')  as(empno:int,ename:chararray,job:chararray,mgr:int,hiredate:chararray,sal:int,comm:int,deptno:int);
dept = load '/001/pig/dept.csv' using PigStorage(',') as(deptno:int,dname:chararray,loc:chararray);

(3)查询员工信息:员工号 姓名 薪水

     类似于SQL:  select empno,ename,sal from emp; 以下语句不会触发计算,只有到dump语句时才触发计算。

emp3 = foreach emp generate empno,ename,sal; 

   执行输出命令:

dump emp3;

(4)查询员工信息,按照月薪排序

   类似于SQL:  select * from emp order by sal;

emp4 = order emp by sal;
dump emp4;

(5)分组:求每个部门的最高工资: 部门号  部门的最高工资 

   类似于SQL:  select deptno,max(sal) from emp group by deptno;

   第一步:先分组:

emp51 = group emp by deptno;

   查看emp51的表结构:

describe emp51;
dump emp51;

   第二步:求每个组(每个部门)工资的最大值   注意:MAX大写:

emp52 = foreach emp51 generate group,MAX(emp.sal);
dump emp52;

(6)查询10号部门的员工

   类似于SQL:  select * from emp where deptno=10;

emp6 = filter emp by deptno==10;

   注意:两个等号

dump emp6;

(7)多表查询:部门名称、员工姓名

   类似于SQL:  select d.dname,e.ename from emp e,dept d where e.deptno=d.deptno; 

emp71 = join dept by deptno,emp by deptno;
emp72 = foreach emp71 generate dept::dname,emp::ename;
dump emp72;

 (8)集合运算:查询10和20号部门的员工信息

select * from emp where deptno=10

union

select * from emp where deptno=20;

emp10 = filter emp by deptno==10;
emp20 = filter emp by deptno==20;
emp1020 = union emp10,emp20;
dump emp1020;

 (9)存储表到HDFS

store emp1020 into '/001/output_pig'; 

   注意:HDFS的/output_pig目录预先不存在

  查看/001/output_pig目录的文件,用以下命令:sh开头表示在pig命令行下,不用切换到linux终端就可以执行Linux命令。

sh hdfs dfs -ls /001/output_pig

 

 查看输出文件内容:

sh hdfs dfs -cat /001/output_pig/part-m-00000
sh hdfs dfs -cat /001/output_pig/part-m-00001

 

(10)执行WordCount

   准备数据:

   Linux本地新建一个data.txt的文本文件,

$ nano data.txt

   内容如下:

Hello world
Hello hadoop
Hello pig

  将data.txt上传到HDFS的/001目录下

$ hdfs dfs -put data.txt /001

   a.加载数据

mydata = load '/001/data.txt' as (line:chararray);

   b.将字符串分割成单词

words = foreach mydata generate flatten(TOKENIZE(line)) as word;

   c.对单词进行分组

grpd = group words by word; 

   d.统计每组中单词数量

cntd = foreach grpd generate group,COUNT(words);

   e.打印结果

dump cntd;

 

完成! enjoy it! 

 

本文链接http://element-ui.cn/news/show-576879.aspx