此文章是vip文章,如何查看?  

1,点击链接获取密钥 http://nicethemes.cn/product/view29882.html

2,在下方输入文章查看密钥即可立即查看当前vip文章


【Hadoop】46-计数器应用实例

  • 时间:
  • 浏览:
  • 来源:互联网

在实际生产代码中,常常需要将数据处理过程中遇到的不合规数据行进行全局计数,类似这种需求可以借助mapreduce框架中提供的全局计数器来实现。

示例代码如下:

public class MultiOutputs {
         //通过枚举形式定义自定义计数器
         enum MyCounter{MALFORORMED,NORMAL}
         static class CommaMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
                  @Override
                  protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
                          String[] words = value.toString().split(",");
                          for (String word : words) {
                                   context.write(new Text(word), new LongWritable(1));
                          }
                          //对枚举定义的自定义计数器加1
                          context.getCounter(MyCounter.MALFORORMED).increment(1);
                          //通过动态设置自定义计数器加1
                          context.getCounter("counterGroupa", "countera").increment(1);
                  }
         }

 

本文链接http://element-ui.cn/news/show-577129.aspx