HBase -ROOT-和.META.表结构(region定位原理)

转自:http://blog.csdn.net/chlaws/article/details/16918913

在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region,那么它是如何找到相应的RegionServer的?本文就是在研究源码的基础上揭秘这个过程。

在前面的文章“HBase存储架构”中我们已经讨论了HBase基本的存储架构。在此基础上我们引入两个特殊的概念:-ROOT-和.META.。这是什么?它们是HBase的两张内置表,从存储结构和操作方法的角度来说,它们和其他HBase的表没有任何区别,你可以认为这就是两张普通的表,对于普通表的操作对它们都适用。它们与众不同的地方是HBase用它们来存贮一个重要的系统信息——Region的分布情况以及每个Region的详细信息。

好了,既然我们前面说到-ROOT-.META.可以被看作是两张普通的表,那么它们和其他表一样就应该有自己的表结构。没错,它们有自己的表结构,并且这两张表的表结构是相同的,在分析源码之后我将这个表结构大致的画了出来:

-ROOT-和.META.表结构

我们来仔细分析一下这个结构,每条Row记录了一个Region的信息。

首先是RowKey,RowKey由三部分组成:TableName, StartKey 和 TimeStamp。RowKey存储的内容我们又称之为Region的Name。哦,还记得吗?我们在前面的文章中提到的,用来存放Region的文件夹的名字是RegionName的Hash值,因为RegionName可能包含某些非法字符。现在你应该知道为什么RegionName会包含非法字符了吧,因为StartKey是被允许包含任何值的。将组成RowKey的三个部分用逗号连接就构成了整个RowKey,这里TimeStamp使用十进制的数字字符串来表示的。这里有一个RowKey的例子:

Java代码  

  1. Table1,RK10000,12345678

然后是表中最主要的Family:info,info里面包含三个Column:regioninfo, server, serverstartcode。其中regioninfo就是Region的详细信息,包括StartKey, EndKey 以及每个Family的信息等等。server存储的就是管理这个Region的RegionServer的地址。

所以当Region被拆分、合并或者重新分配的时候,都需要来修改这张表的内容。

到目前为止我们已经学习了必须的背景知识,下面我们要正式开始介绍Client端寻找RegionServer的整个过程。我打算用一个假想的例子来学习这个过程,因此我先构建了假想的-ROOT-表和.META.表。

我们先来看.META.表,假设HBase中只有两张用户表:Table1和Table2,Table1非常大,被划分成了很多Region,因此在.META.表中有很多条Row用来记录这些Region。而Table2很小,只是被划分成了两个Region,因此在.META.中只有两条Row用来记录。这个表的内容看上去是这个样子的:

.META.行记录结构

现在假设我们要从Table2里面插寻一条RowKey是RK10000的数据。那么我们应该遵循以下步骤:

1. 从.META.表里面查询哪个Region包含这条数据。

2. 获取管理这个Region的RegionServer地址。

3. 连接这个RegionServer, 查到这条数据。

好,我们先来第一步。问题是.META.也是一张普通的表,我们需要先知道哪个RegionServer管理了.META.表,怎么办?有一个方法,我们把管理.META.表的RegionServer的地址放到ZooKeeper上面不久行了,这样大家都知道了谁在管理.META.。

貌似问题解决了,但对于这个例子我们遇到了一个新问题。因为Table1实在太大了,它的Region实在太多了,.META.为了存储这些Region信息,花费了大量的空间,自己也需要划分成多个Region。这就意味着可能有多个RegionServer在管理.META.。怎么办?在ZooKeeper里面存储所有管理.META.的RegionServer地址让Client自己去遍历?HBase并不是这么做的。

HBase的做法是用另外一个表来记录.META.的Region信息,就和.META.记录用户表的Region信息一模一样。这个表就是-ROOT-表。这也解释了为什么-ROOT-和.META.拥有相同的表结构,因为他们的原理是一模一样的。

假设.META.表被分成了两个Region,那么-ROOT-的内容看上去大概是这个样子的:

-ROOT-行记录结构

这么一来Client端就需要先去访问-ROOT-表。所以需要知道管理-ROOT-表的RegionServer的地址。这个地址被存在ZooKeeper中。默认的路径是:

Java代码  

  1. /hbase/root-region-server

等等,如果-ROOT-表太大了,要被分成多个Region怎么办?嘿嘿,HBase认为-ROOT-表不会大到那个程度,因此-ROOT-只会有一个Region,这个Region的信息也是被存在HBase内部的。

现在让我们从头来过,我们要查询Table2中RowKey是RK10000的数据。整个路由过程的主要代码在org.apache.hadoop.hbase.client.HConnectionManager.TableServers中:

Java代码  

  1. private HRegionLocation locateRegion(final byte[] tableName,
  2. final byte[] row, boolean useCache) throws IOException {
  3. if (tableName == null || tableName.length == 0) {
  4. throw new IllegalArgumentException("table name cannot be null or zero length");
  5. }
  6. if (Bytes.equals(tableName, ROOT_TABLE_NAME)) {
  7. synchronized (rootRegionLock) {
  8. // This block guards against two threads trying to find the root
  9. // region at the same time. One will go do the find while the
  10. // second waits. The second thread will not do find.
  11. if (!useCache || rootRegionLocation == null) {
  12. this.rootRegionLocation = locateRootRegion();
  13. }
  14. return this.rootRegionLocation;
  15. }
  16. } else if (Bytes.equals(tableName, META_TABLE_NAME)) {
  17. return locateRegionInMeta(ROOT_TABLE_NAME, tableName, row, useCache, metaRegionLock);
  18. } else {
  19. // Region not in the cache – have to go to the meta RS
  20. return locateRegionInMeta(META_TABLE_NAME, tableName, row, useCache, userRegionLock);
  21. }
  22. }

这是一个递归调用的过程:

Java代码  

  1. 获取Table2,RowKey为RK10000的RegionServer => 获取.META.,RowKey为Table2,RK10000, 99999999999999的RegionServer => 获取-ROOT-,RowKey为.META.,Table2,RK10000,99999999999999,99999999999999的RegionServer => 获取-ROOT-的RegionServer => 从ZooKeeper得到-ROOT-的RegionServer => 从-ROOT-表中查到RowKey最接近(小于) .META.,Table2,RK10000,99999999999999,99999999999999的一条Row,并得到.META.的RegionServer => 从.META.表中查到RowKey最接近(小于)Table2,RK10000, 99999999999999的一条Row,并得到Table2的RegionServer => 从Table2中查到RK10000的Row

到此为止Client完成了路由RegionServer的整个过程,在整个过程中使用了添加“99999999999999”后缀并查找最接近(小于)RowKey的方法。对于这个方法大家可以仔细揣摩一下,并不是很难理解。

最后要提醒大家注意两件事情:

1. 在整个路由过程中并没有涉及到MasterServer,也就是说HBase日常的数据操作并不需要MasterServer,不会造成MasterServer的负担。

2. Client端并不会每次数据操作都做这整个路由过程,很多数据都会被Cache起来。至于如何Cache,则不在本文的讨论范围之内。

时间: 2024-10-15 05:18:52

HBase -ROOT-和.META.表结构(region定位原理)的相关文章

HBase -ROOT-和.META.表结构

在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer.什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer.Client本身并不知道哪个RegionServer管理哪个Region,那么它是如何找到相应的RegionServer的?本文就是在研究源码的基础上揭秘这个过程. 在前面的文章“HBase存储架构”中我们已经讨论了HBase基本的存储架构.在此基础上

hbase meta表的结构

下面看下hbase:meta 表的结构,hbase:meta表中,保存了每个表的region地址,还有一些其他信息,例如region的名字,HRegionInfo,服务器的信息.hbase:meta表中每一行对应一个单一的region.例如我们现在创建一个表名叫"t".hbase:meta中对应的行会像下面这个样子. Row Column Family Column Qualifier Value t,,1351700811858 info regioninfo NAME =>

hbase shell表结构管理

hbase表结构管理详细解释篇 列出表清单 1 hbase(main):001:0> list 1 TABLE 2 cdr 3 noc 4 2 row(s) in 0.1800 seconds 5 6 => ["cdr", "noc"] result 创建表 删除表 查看某张表的结构 修改表的结构 查看表是否存在 判断表是否enable 判断表是否disable

Hbase之修改表结构

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.TableName; import org.ap

OGG-01163 Bad column表结构一致、trail文件meta不一致处理

变更源端表结构后,目标端ogg告警.2019-04-15 12:48:47 ERROR OGG-01163 Bad column length (21) specified for column CHANNEL_CODE in table MCS.T_MCS_REPAY_ORD_INF, maximum allowable length is 15. 将复制进程中参数注掉后:--ASSUMETARGETDEFS将两边进程都重启,还是报同样的错.又不能轻易跳过交易记录.重新生成定义文件.GGSCI

使用hbase的api创建表时出现的异常

1 /usr/lib/jvm/java-7-openjdk-amd64/bin/java -Didea.launcher.port=7538 -Didea.launcher.bin.path=/usr/local/idea-IC-139.225.3/bin -Dfile.encoding=UTF-8 -classpath /usr/lib/jvm/java-7-openjdk-amd64/jre/lib/rhino.jar:/usr/lib/jvm/java-7-openjdk-amd64/jr

表结构-索引

DAY02 一.修改表结构 修改表结构会影响表中已有记录,表结构的修改受表中已有记录的限制.因此要在插入表记录之前修改表结构,若已有记录,在修改前先备份. 默认只有数据库管理员root从数据库服务器本机登录时,才有修改表结构的权限  1.alter table  数据库名.表名  处理动作;   //修改表结构 处理动作: 1.1添加新字段: add 格式:alter  table  数据库名.表名 add 字段名- 例: mysql> alter table  数据库名.表名 mysql>

一个漂亮的输出MySql数据库表结构的PHP页面

经常为了方便和直观,我们会首先直接在数据库中设计出表,但是接下来又要将表的结构和设计编写在设计文档中,以便编码的时候可以直观的查询,一旦数据库表非常多,字段非常多的时候,这无疑是件非常郁闷的工作. 这是一个漂亮的PHP页面,可以自动输出MySql数据库所有表结构,大大方便了文档的编写工作,也同时非常方便编码的时候进行查询.当然在设计MySql数据库表和字段的时候详细填写表和字段的备注,这是非常好的习惯,对这个网页的输出也是最佳效果的. <!DOCTYPE html PUBLIC "-//W

课程模块表结构

课程模块 我们要开始写课程模块了~~课程模块都有哪些功能呢~~ 我们的课程模块,包括了免费课程以及专题课程两个方向~~ 主要是课程的展示,点击课程进入课程详细页面~~ 课程详细页面展示,课程的概述,课程的价格策略,课程章节,评价以及常见问题~~ 以及一些周边的字段~~~这是主线路~~ 根据功能设计表结构 对照着对标路飞网站,我们可以先讨论下表结构~~ 我们初步能够确定下来12张表~~ from django.db import models from django.contrib.content