Hbase 中 hbase-site.xml 参数含义

hbase.client.scanner.caching

定义在扫描器中调用next方法时取回的行数。数值越大,在扫描时客户端需要对RegionServer发出的远程调用次数越少。数值越大,客户端消耗内存越大。

hbase.balancer.period

region均衡器在HBase Master中周期性运行。该属性定义了均衡器运行的时间间隔,默认5分钟,单位毫秒。

hbase.client.write.buffer

客户端HTable实例写缓存,单位Byte。越大RPC调用越少,同时占用更多内存。

hbase.hregion.majorcompaction

大合并周期性合并。毫秒为单位,默认是一天。(通常建议不开启)

hbase.hregion.max

底层存储文件HStoreFile的最大值。region大小由这个参数定义。如果列族的存储文件超过这个值,region会被拆分。

hbase.hregion.memstore.flush.size

MemStore的最大值,单位是Byte。当MemStore超过这个值时,会被刷写到磁盘。一个周期性运行的线程检查MemStore的大小,线程运行频率可以由hbase.server.thread.wakefrequency定义

hbase.server.thread.wakefrequency

hbase.hregion.memstore.mslab.enabled

MemStore-Local Allocation
Buffer是HBase的一个特性,用来在出现密集写时防止堆碎片化。开启它一般会环节由于堆太大引起的垃圾回收暂停太长的问题,默认是true。

hbase.hstore.blockingStoreFiles

如果region里某个列族存储文件数目超过这个值,写会阻塞掉,知道合并完成或者阻塞超时。超时是时间使用hbase.hstore.blockingWaitTime设置,单位毫秒。

hbase.hstore.blockingWaitTime

hbase.hstore.compaction.max

配置在单个小合并中进行合并的最多文件数。默认是7。

hbase.hstore.compactionThreshold

在某个列族的存储文件数达到这个值时,HBase在那个region上执行合并。给这个参数设置的值越大,导致执行合并频率越低,但花费时间也越长。

hbase.mapreduce.hfileoutputformat.blocksize

HFile数据块大小在每张表的每个列族层级进行设置,该参数决定HFile建立索引的粒度。数据块越小,随机读取性能越好,同时数据块索引占用的空间越大,消耗内存越多。在MapReduce作业中使用HFileOutputFormat直接把数据写到HFile时,必须用该属性定义数据块大小。

hbase.master.info.port

定义用户访问端口

http://master:port,默认是60010

hbase.master.port

是Master进程监听端口,默认值是60000.

hbase.regionserver.port

RegionServer的监听端口

hbase.regionserver.global.memstore.lowerLimithbase.regionserver.global.memstore.upperLimit

upperLimit定义在一个RegionServer上MemStore总共可以使用的堆百分比。遇到upperLimit的时候,MemStore被刷写道硬盘,知道遇到lowerLimit时停止。

hbase.regionserver.handler.count

在RegionServer和Master进程上可以启动RPC监听数量

hbase.regionserver.optionallogflushinterval

不论HLog文件中有多少edits, Hlog多久必须刷写一次文件系统。这个就是强制刷写的时间间隔,单位毫秒。默认是1000ms。

hbase.regionserver.regionSplitLimit

一个系统拥有的region数量的最大值,默认是MAX_INT(2147483647)

hbase.tmp.dir

本地HBase使用临时目录

hfile.block.cache.size

数据块缓存可以使用的堆最大量。数据块缓存算法是LRU。

zookeeper.session.timeout

HBase守护进程和客户端都是Zookeeper客户端。该参数是他们和Zookeeper之间会话超时时间,单位毫秒。

zookeeper.znode.parent

在ZooKeeper中HBase和znode根目录,默认值是/hbase。所有HBase的ZooKeeper文件都被配置为使用该目录作为父目录。

时间: 2024-10-11 05:17:35

Hbase 中 hbase-site.xml 参数含义的相关文章

hbase中hbase和regionserver端口冲突问题

hbase中 hmaster 和regionserver的端口冲突问题 java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(HRegionServer.ja

module中build.gradle文件参数含义

主要是module的build.gradle,截图如下: 01行:apply plugin: 'com.android.application'    表示该module是这个应用程序的module 15行:applicationId "com.smyhvae.helloworld"    应用程序的包名 16.17行:向下兼容的最小版本.编译版本.    注:在app/src/main/AndroidManifest.xml中不再出现这个信息了. 23行:需不需要利用24行的prog

HBase中的备份和故障恢复方法

在这篇文章中,你将会对在HBase中可用的数据备份机制有一个高层次的简要了解,并且知道多种数据恢复/容灾机制.在阅读了这篇文章之后,你应该能对你的业务需要那种BDR策略有了自己的判断.你也应该明白各种机制各自的优缺点(适用于CDH 4.3.0/HBase 0.94.6及更高版本). 备份 HBase是一个基于LSM树(log-structured merge-tree)的分布式数据存储系统,它使用复杂的内部机制确保数据准确性.一致性.多版本等.因此,你如何获取数十个region server在H

hadoop三个配置文件的参数含义说明core-site.xml,hdfs-site.xml,mapred-site.xml

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的

【HBase】zookeeper在HBase中的应用

转自:http://support.huawei.com/ecommunity/bbs/10242721.html Zookeeper在HBase中的应用 HBase部署相对是一个较大的动作,其依赖于zookeeper cluster,hadoop HDFS. Zookeeper作用在于: 1.hbase regionserver 向zookeeper注册,提供hbase regionserver状态信息(是否在线). 2.hmaster启动时候会将hbase系统表-ROOT- 加载到 zook

MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)

声明: 若要转载, 请标明出处. 前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中. 引用: 一.这种方式有很多的优点: 1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 "Bulk Loading"方法,即HBase提供的HFileOutputFormat类. 2. 它是利用hbase

Hadoop集群中Hbase的介绍、安装、使用

导读 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. 一.Hbase简介 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统:Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce

Hive整合HBase——通过Hive读/写 HBase中的表

写在前面一: 本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰. 写在前面二: 使用软件说明 约定所有软件的存放目录: /home/yujianxin 一.Hive整合HBase原理 Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0.jar工具类,如下图 Hive与HBase通信示意图 二.具体步骤 安装前说明 1.关

淘宝在hbase中的应用和优化

本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化.对Hadoop.HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家. 目 录 [ - ] 前言 原因 应用情况 部署.运维和监控 测试与发布 改进和优化 将来计划 前言 hbase是从 hadoop中分离出来的apache顶级开源项目.由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎.对于淘宝而言