pig脚本报错总结

  • 时间:
  • 来源:互联网

pig脚本错误总结:

ERROR 2244: Job job_1544856965068_0022 failed, hadoop does not return any error message
没有注册jar包
注册方法 register /home/gtt/pig/lib/*.jar

Error during parsing. Cannot get schema from loadFunc org.apache.hive.hcatalog.pig.HCatLoader
没有开hcat服务
开启方法 hcat_server.sh start

Unable to open iterator for alias foreach2_data. Backend error : java.lang.IllegalStateException: Job in state DEFINE instead of RUNNING

无法为别名foreach2_data打开迭代器。 后端错误:java.lang.IllegalStateException:作业状态为DEFINE而不是RUNNING
可能是jar注册失败 或者路径有问题 细心检查一下 ok

group分组的时候 记得要配合foreach使用

group_data = group foreach_data by id;
foreach2_data = foreach group_data generate FLATTEN(group), COUNT(foreach_data.id);
如果数据要导入表格的话 要as一个字段名
foreach2_data = foreach group_data generate FLATTEN(group) as aa, COUNT(foreach_data.id) as num;

统计一个表有多少数据的时候也可以用all来进行分组
group_data = group foreach_data all;
foreach2_data = foreach group_data generate FLATTEN(group), COUNT(foreach_data);

如果还有一些诡异的错误 先jps看一下服务 再百度找我 最后 你电脑有内鬼 终止交易!

本文链接http://element-ui.cn/news/show-576584.aspx