Hadoop学习之路(7)MapReduce自定义分区排序

  • 时间:
  • 来源:互联网

本文测试文本:

tom 20 8000
nancy 22 8000
ketty 22 9000
stone 19 10000
green 19 11000
white 39 29000
socrates 30 40000

   在MapReduce程序中,Map阶段输出是一个<K,V>键值对,根据K的值进行排序分区、排序、分组,MapReduce会按照基本类型对应的key进行排序,如int类型的IntWritable,默认升序排序
为什么要自定义排序规则?
   现有需求,需要自定义key类型,并自定义key的排序规则,如按照人的salary降序排序,若相同,则再按age升序排序
   通常情况下会根据Text类型的值进行排序,先看一下Text类型代码

数据科学实践者
发布了12 篇原创文章 · 获赞 5 · 访问量 484
私信 关注

本文链接http://element-ui.cn/news/show-1541.aspx