此文章是vip文章,如何查看?  

1,点击链接获取密钥 http://nicethemes.cn/product/view29882.html

2,在下方输入文章查看密钥即可立即查看当前vip文章


Pig实现order by limit功能

  • 时间:
  • 浏览:
  • 来源:互联网

下面,将介绍如何利用Pig实现按多个值排序,并取每个组的前n个值。例如,取每个商品曝光前2的搜索词。

1. 文本数据

sku1,query11,pos11,50
sku1,query12,pos12,40
sku1,query13,pos13,20
sku2,query21,pos21,40
sku2,query22,pos22,30
sku3,query31,pos31,50
sku3,query32,pos32,20
sku3,query33,pos33,10
sku3,query43,pos43,5

2. 本地运行Pig

   如果,脚本运行所需内存不足,则修改Pig内存大小:export PIG_HEAPSIZE=4192。再以本地模式运行Pig

pig -x local

3. 脚本程序

records = LOAD 'user.txt' USING PigStorage(',') AS (sku:chararray,query:chararray,pos:chararray,pv:int);
grpd = GROUP records BY sku;
top3 = foreach grpd {
        sorted = order records by pv desc;
        top    = limit sorted 2;
        generate group, flatten(top);
};

4. 运行结果

本文链接http://element-ui.cn/news/show-576789.aspx