Pig 安装总结学习

  • 时间:
  • 来源:互联网
[size=medium][b]1.下载并解压安装包[/b][/size]
----------------------------------
在Apache下载最新的Pig软件包,点击下载会推荐最快的镜像站点,以下为下载地址:
pig下载地址
[url]https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/[/url]

[size=medium][color=red][b]2.配置环境[/b][/color][/size]
----------------------------------
解压缩到安装路径, 用如下命令编辑~/.bashrc文件:
Pig工作模式

本地模式:只需要配置PATH环境变量${PIG_HOME}/bin即可,适用于测试

Mapreduce模式:需要添加环境变量PIG_CLASSPATH=${HADOOP_HOME}/conf/,指向Hadoop的conf目录,我的是hadoop2.6 ,hadoop home: /usr/local/hadoop/etc/hadoop

[color=blue][b]sudo vi ~/.bashrc[/b][/color]
添加:
 export PIG_HOME=/app/pig-0.13.0
export PIG_CLASSPATH=/usr/local/hadoop/etc/hadoop
export PATH=$PATH:$PIG_HOME/bin


[color=red][b]注意:需要启动historyserver[/b][/color] [b]./sbin/mr-jobhistory-daemon.sh start historyserver[/b]

[size=medium][color=red][b]3.替换jline.jar 文件[/b][/color][/size]
----------------------------------
将$PIG_HOME/lib/jline-*.jar拷贝到$HADOOP_HOME/share/hadoop/yarn/lib

[size=medium][b]4.运行测试[/b][/size]
----------------------------------
执行pig命令看是否报错 不报错则安装成功

本文链接http://element-ui.cn/news/show-576657.aspx