pig-0.10.0的安装

  • 时间:
  • 来源:互联网

 

只需要添加相应的pig_home以及pig_home/bin到path就可以了,不需要另外添加别的东西,比如(一下蓝色字体是直接复制的):

 

还有一种就是Hadoop模式了,这种模式下,Pig才真正的把查询转换为相应的MapReduce Jobs,并提交到Hadoop集群去运行,集群可以是真实的分布式也可以是伪分布式。要想Pig能认识Hadoop,你要告诉它Hadoop的版本以及一些关键daemon的信息(也就是Namenode和Jobtracker的Address和Port)。比如,下面这个可以允许Pig连接到任何Hadoop0.20.*上:

% export PIG_HADOOP_VERSION=20

接下来,你还要指明集群的Namenode和Jobtracker的所在。有两种方法,一种就是把你Hadoop的Conf地址添加到Pig的Classpath上:

% export PIG_CLASSPATH=$HADOOP_INSTALL/conf/

还有一种就是在Pig目录的Conf文件夹(可能需要自己创建)里创建一个pig.properties文件,然后在里面添加集群的Namenode和Jobtracker的信息:

fs.default.name=hdfs://localhost/

mapred.job.tracker=localhost:8021

 

 

 

根据实际经验而得,如果需要交流,请大家联系我,qq:540692237

本文链接http://element-ui.cn/news/show-576687.aspx