此文章是vip文章,如何查看?  

1,点击链接获取密钥 http://nicethemes.cn/product/view29882.html

2,在下方输入文章查看密钥即可立即查看当前vip文章


在Pig中使用Lzo

  • 时间:
  • 浏览:
  • 来源:互联网

一、寻找依赖包

要在pig下使用lzo,我们需要第三方lib,目前我在使用的是twitter的elephant-bird,项目地址:

 

https://github.com/kevinweil/elephant-bird

 你可以自己编译出jar文件,我比较懒直接使用maven库(search.maven.org)中的lib,地址如下:

 

# elephant-bird-pig-3.0.8.jar
http://search.maven.org/remotecontent?filepath=com/twitter/elephantbird/elephant-bird-pig/3.0.8/elephant-bird-pig-3.0.8.jar
# elephant-bird-core-3.0.8.jar
http://search.maven.org/remotecontent?filepath=com/twitter/elephantbird/elephant-bird-core/3.0.8/elephant-bird-core-3.0.8.jar

 

二、使用Pig Lzo (elephant-bird)

写道
> pig
REGISTER 'elephant-bird-core-3.0.8.jar';
REGISTER 'elephant-bird-pig-3.0.8.jar';
rows = LOAD '/user/hdfs/test.lzo' USING com.twitter.elephantbird.pig.load.LzoTextLoader;
....

 

--end

 

 

本文链接http://element-ui.cn/news/show-576949.aspx