此文章是vip文章,如何查看?  

1,点击链接获取密钥 http://nicethemes.cn/product/view29882.html

2,在下方输入文章查看密钥即可立即查看当前vip文章


利用pig导出hbase文件为txt或者csv格式

  • 时间:
  • 浏览:
  • 来源:互联网

利用pig导出hbase文件为txt或者csv格式

 

如下例子,将hbase的表test导出文件为txt格式:

[root@datacsu2 lilip]# vi loadData.pig

source = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(

'info:CPUCpuUtil

 info:MemoryUsage' ,

 '-loadKey true ') AS (

 col1:chararray,col2:chararray,col3:chararray);

STORE source INTO '/hilod/result_file' USING PigStorage(',');

 

//其中info:* 为hbase表test中你想导出的列,'-loadKey true ' 代表保存rowkwy。

//注意后面包含了3个col(列名+rowkey)。

//接下来执行运行该脚本的命令:

[root@datacsu2 lilip]# cat pig.sh

pig -x tez /data1/lilip/loadData.pig

 

// 最后你将在hdfs:// hilod/result_file 下找到该导出文件。若文件太大,会将其分为几个子文件,可以执行hdfs命令将子文件合并,如:

#su hdfs

#hadoop fs –getmerge / hilod/result_file /tmp/result.txt

//注意:合并后的文件是本地文件。

 

转载于:https://www.cnblogs.com/llphhl/p/7007302.html

本文链接http://element-ui.cn/news/show-577031.aspx