一、前言

在生产环境使用HBase过程中，随着数据量的不断增加，查询HBase数据变得越来越慢，对于业务来说是不可用的，需要对读性能进行优化

二、问题定位

从hbase监控指标来看，发现FullGC次数频繁，大家都知道FullGC对系统的影响很大，会使系统资源都耗在GC上，其它性能就会影响，另一个异常是Compact队列一直在阻塞，需要compact的文件过多又不无法及时得到compact，这个就导致小文件越来越多得不到合并影响读性能。

三、问题解决

初步定位到原因之后，考虑从以下几个方面进行优化

1. 增加regionserver堆栈内存大小，此优化主要考虑到FullGC次数过多，尽量避免Full　GC的发生

　　 2.  观察到集群读缓存率过低，很多时候读的数据都不在缓存中，blockcache得不到利用，所以考虑读写cahce比例调整，减小读增大memstore内存，提高写性能，避免写请求被阻塞

3. 调整small compact线程数，原来是设置了1 个small compact，为提高compact速率，线程调整为3

4. 调整表region数，原来是对于所有的表预分配了1000个region,导致一些数据量小的表region数过多，优化后针对表的数据量调整了region的数量

5. 调整region hfile数量 ，  针对region hfile文件数过多的表，进行手动major_compact， 以提高读性能

6. 隔离表， 此步主要考虑到compact队列阻塞严重，所以考虑将一些表用几台新机器进行隔离, 最本质的其实还是降低单region的hfile数量，降低之后在定位到数据在哪个region之后，可以大幅减少扫描hfile的次数，具体方法如下，

a 确认要隔离的表

b 确认隔离的机器列表

c  创建group

add_rsgroups ‘test_tables‘

d 将机器列表move到新建组别
move_rsgroup_servers ‘test_tables‘,[‘1.1.1.1:60020‘,‘1.1.1.2:60020‘,‘1.1.1.3:60020‘]

c 查看上面操作是否成功
 get_rsgrup ‘test_tables‘

d 将需要隔离的表move到group

move_rsgroup_tables ‘test_tables‘,[‘table1‘,‘table2‘]

进行隔离后，发现compact阻塞严重的表已经下降了，最直观的表现是读性能从原来的10几秒优化到200ms以内，读性能得到质的变化，最主要的优化是降低了每个region的hfile数量，提高了定位数据区间的效率