内容简介
- 一、计数器的基本概念
- 二、在Shell中创建并操作计数器
- 三、单计数器
- 四、多计数器
- 五、总结
一、计数器的基本概念
- 我在前两篇文章中详细介绍了HBase的过滤器,这是HBase的高级特性之一,除了过滤器,HBase还有其他的高级特性,计数器便是其中一个。计数器(Counter),常见于各种的收集信息统计系统的点击流统计,比如何种APP的热搜,或者在线广告意见,这些应用需要收集到日志文件中用于后续的分析,用户可以使用计数器做实时统计,而放弃高延时的批处理操作。
- 在HBase中,计数器机制是一种原子操作,需要注意的是,计数器是面向列的操作,即每次对特定计数器的操作只会锁住一列而不是一行,然后读取数据,再对当前数据做加法操作,最后再写入HBase中并释放该列的锁,在操作的过程中用户是可以访问这一行的其他数据的,否则如果用户对一整行的数据加锁然后读取数据,会造成大量的资源抢占问题,这在一个高负载的系统中是致命的。
二、在Shell中创建并操作计数器
- 通过上面介绍可知,计数器在HBase中存储值得本质即是某一列,而列则是在做具体的值操作时才会显式出现,而在创建表的时候不会出现,因而在创建计数器时指定表名与列族即可,比如我创建的表名为counters,列族分别是daily、weekly、monthly的表:

然后像操作普通列一样,在操作计数器时,有着专门的命令:
incre 'table' 'rowKey' 'column' 'increment-value'
比如现在我想在daily这个列族上操作hits计数器,使它的值在原来基础上加1(初始默认为0):

使用如下命令可以查看一个计数器的值:
get_counter 'table' 'rowKey' 'column'
比如我想读取 ‘daily:hits’ 计数器的值:

- 值得注意的是,在操作计数器的时候只有一种操作,那就是加法操作,如果你想让一个计数器的值减1,则 ‘increment-value’ 这个参数为-1即可,具体规则如下:
值 |
作用 |
比零大的值 |
按给定的值增加计数器的值 |
零 |
得到计数器当前的值,不增也不减 |
比零小的值 |
按给定的值减少计数器的值 |
三、单计数器
- 在使用计数器时,绝大多数情况下是通过Java API来使用,现来介绍单计数器。单计数器顾名思义就是一次操作只能操作一个计数器,用户需要自己设置列,方法由HTable类提供,方法签名如下:
long incrementColumnValue(byte[] row,byte[] family,byte[] qualifier,long acount) throws IOException
long incrementColumnValue(byte[] row,byte[] family,byte[] qualifier,long acount,boolean writeToWAL) throws IOException
这两个方法都需要列的坐标参数和增加值,除此之外两个方法只在是否有writeToWAL这个参数上的区别,writeToWAL这个参数可以设置是否打开预写日志,默认是打开的。
比如我在上面创建的表中,使用单计数器对计数器’daily:hits’进行操作:
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf,"counters");
long cnt1 = table.incrementColumnValue(Bytes.toBytes("xiao-ban-zhu")
,Bytes.toBytes("daily"),Bytes.toBytes("hits"),3);
long cnt2 = table.incrementColumnValue(Bytes.toBytes("xiao-ban-zhu")
,Bytes.toBytes("daily"),Bytes.toBytes("hits"),-1);
long current = table.incrementColumnValue(Bytes.toBytes("xiao-ban-zhu")
,Bytes.toBytes("daily"),Bytes.toBytes("hits"),0);
与在shell中操作计数器一样,API也有相同的参数和相同的作用:使用正值则在原计数器的基础上增加相应的值,使用负值则在原计数器的基础上减去相应的值,如果使用0则获得当前计数器的值。
四、多计数器
- 单计数器每一次只允许操作一个计数器,如果一行中多个列都是计数器则需要将代码重复编写,因此HBase的HTable类提供了另外一个方法,可以一次操作同一行的多个计数器,方法签名如下:
Result increment(Increment increment) throws IOException
要使用该方法必须先创建Increment实例,同时往该实例填充必要的计数器信息,构造方法如下:
Increment(byte[] row)
Increment(byte[] row,RowLock rowLock)
创建Increment实例时需要传入一个行健,唯一标识操作这一行的一个或多个计数器。RowLock 实例则是创建用户自定义的锁实例,可以使得本次对所有计数器的操作全部在用户的控制下完成。
当创建完Increment实例后需要往该实例中填充必要的计数器信息:列族、列名、值,它提供的方法如下:
addColumn(byte[] family,byte[] qualifier,long acount)
在上述例子中我们创建了三个列族,现在可以通过往Increment实例中填充信息,同时操作多个计数器:
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf,"counters");
Increment increment = new Increment(Bytes.toBytes("xiao-bang-zhu"));
increment.addColumn(Bytes.toBytes("daily"),Bytes.toBytes("hits"),1);
increment.addColumn(Bytes.toBytes("weekly"),Bytes.toBytes("hits"),5);
increment.addColumn(Bytes.toBytes("monthly"),Bytes.toBytes("hits"),-10);
Result result = tableincrement(increment);
for(KeyValue kv:result.raw()){
System.out.println("Value: " + Bytes.toLong(ky.getValue()));
}
五、总结
- 计数器是HBase非常简单实用的高级特性之一,经常用于各种实时统计的数据写入场景,比如实时的热词统计等。到目前为止,已经介绍了两种HBase的高级特性:过滤器和计数器,往后将继续介绍HBase较为复杂的高级特性-----协处理器。感谢你的阅读,如有错误请不吝赐教!
- 更多内容请查阅 萧邦主的技术博客导航
本文链接http://element-ui.cn/news/show-576721.aspx