HBase与Zookeeper数据结构查询

一、前言

 最近一年了吧,总是忙于特定项目的业务分析和顶层设计,很少花时间和精力放到具体的技术细节,感觉除了架构理念和分析能力的提升,在具体技术层次却并没有多大的进步。因为一些原因,总被人问及一些技术细节,很多细节都模糊了,花点时间,温习一下吧。技术部分将作为下一个阶段的工作重点。 

二、操作说明

查看Zookeeper内部HBase相关数据,有两个主要的渠道:一、通过Hbase shell命令zk_dump查看;二、通过zk_cli.sh查看;

三、zk_dump

 1 HBase is rooted at /hbase
 2 Active master address: localhost,60000,1411261739960
 3 Backup master addresses:
 4 Region server holding hbase:meta: localhost,60020,1411261739301
 5 Region servers:
 6  localhost,60020,1411261739301
 7 /hbase/replication:
 8 /hbase/replication/peers:
 9 /hbase/replication/rs:
10 /hbase/replication/rs/localhost,60020,1411261739301:
11 Quorum Server Statistics:
12  192.168.230.128:2181
13   Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
14   Clients:
15    /192.168.230.128:54264[1](queued=0,recved=204,sent=212)
16    /192.168.230.128:54269[1](queued=0,recved=113,sent=113)
17    /192.168.230.128:54265[1](queued=0,recved=460,sent=507)
18    /192.168.230.128:54271[1](queued=0,recved=131,sent=131)
19    /192.168.230.128:54274[1](queued=0,recved=86,sent=86)
20    /192.168.230.128:54656[1](queued=0,recved=12,sent=12)
21    /192.168.230.128:54654[1](queued=0,recved=3,sent=3)
22    /192.168.230.128:54270[1](queued=0,recved=94,sent=94)
23    /192.168.230.128:54481[1](queued=0,recved=242,sent=242)
24    /192.168.230.128:54657[0](queued=0,recved=1,sent=0)
25
26   Latency min/avg/max: 0/1/155
27   Received: 1352
28   Sent: 1406
29   Connections: 10
30   Outstanding: 0
31   Zxid: 0x65
32   Mode: standalone
33   Node count: 38

四、zk_cli.sh

 1 [zk: 192.168.230.128:2181(CONNECTED) 30] ls
 2 ZooKeeper -server host:port cmd args
 3         connect host:port
 4         get path [watch]
 5         ls path [watch]
 6         set path data [version]
 7         rmr path
 8         delquota [-n|-b] path
 9         quit
10         printwatches on|off
11         create [-s] [-e] path data acl
12         stat path [watch]
13         close
14         ls2 path [watch]
15         history
16         listquota path
17         setAcl path acl
18         getAcl path
19         sync path
20         redo cmdno
21         addauth scheme auth
22         delete path [version]
23         setquota -n|-b val path
24 [zk: 192.168.230.128:2181(CONNECTED) 31] ls /
25 [hbase, zookeeper]
26 [zk: 192.168.230.128:2181(CONNECTED) 32] ls /hbase
27 [meta-region-server, backup-masters, table, draining, region-in-transition, table-lock, running, master, namespace, hbaseid, online-snapshot, replication, splitWAL, recovering-regions, rs]
28 [zk: 192.168.230.128:2181(CONNECTED) 33]

五、说明

  关于输出结果的解读,就不去细说了,感兴趣的兄弟,自己去问度娘吧。

  莫愁前路无知己,夜漫自有早行人。大数据架构师技术交流: 347018601

  

时间: 2024-10-16 22:43:19

HBase与Zookeeper数据结构查询的相关文章

基于HBase的冠字号查询系统2--实现部分

1. 软件版本和部署 maven:3.3.9,jdk:1.7 ,Struts2:2.3.24.1,hibernate:4.3.6,spring:4.2.5,MySQL:5.1.34,Junit:4,Myeclipse:2014: Hadoop2.6.4,HBase1.1.2 源码下载:https://github.com/fansy1990/ssh_v3/releases 部署参考:http://blog.csdn.net/fansy1990/article/details/51356583 数

Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookeeper&Sqoop&Pig&Flume&Project) - 0515

Hadoop是云计算的事实标准软件框架,是云计算理念.机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容. 如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心.   云计算学习者的心声: 如何从企业级开发的角度,不断动手实际操作,循序渐进中掌握Hadoop,直到能够直接进行企业级开始,是困惑很多对云计算感兴趣的朋友的核心问题,本课程正是为解决此问题而生,学习者只需要按照一步步的跟着视频动手操作,即可完全无痛掌握Hadoo

CentOS系统下Hadoop、Hbase、Zookeeper安装配置

最近两天给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3.主要是配置JDK,安装Tomcat,Hadoop.HBase和Zookeeper软件,本人在Hadoop这方面也是新手,配置这个环境遇到过许多问题,查了许多资料,这里做一个总结,以便日后回顾. 首先是账户权限的修改,安装软件环境需要上传文件和一些系统文件的修改权限,所以最好设置成root权限 权限修改方法:http://www.linuxidc.com/Linux/2012-03/55629.htm 软件的安装,网上

HBase多条件筛选查询方案

最近的项目需要使用Hbase做实时查询,由于Hbase只支持一级索引,也就是使用rowkey作为索引查询,所以对于多条件筛选查询的支持不够,在不建立二级索引的情况下,只能使用Hbase API中提供的各种filter过滤器进行筛选,感觉查询效率不太理想,于是考虑建立二级索引的方案. 经过google学习网上前辈们的经验,暂时找到两种可用的方案: 使用Hbase协处理器Coprocessor在写入数据时,创建二级索引表,并将每条数据的索引写入二级索引表中,查询时先根据筛选条件查询二级索引表,获取相

HBase高性能复杂条件查询引擎

--索引的实质是另一种编排形式的数据冗余,高效的检索源自于面向查询特别设计的编排形式,如果再辅以分布式的计算框架,就可以支撑起高性能的大数据查询.本文原文出处: http://blog.csdn.net/bluishglc/article/details/31799255 严禁任何形式的转载,否则将委托CSDN官方维护权益! Apache HBase?是一个分布式.可伸缩的NoSQL数据库,它构建在Hadoop基础设施之上,依托于Hadoop的迅猛发展,HBase在大数据领域的应用越来越广泛,成

【HBase】zookeeper在HBase中的应用

转自:http://support.huawei.com/ecommunity/bbs/10242721.html Zookeeper在HBase中的应用 HBase部署相对是一个较大的动作,其依赖于zookeeper cluster,hadoop HDFS. Zookeeper作用在于: 1.hbase regionserver 向zookeeper注册,提供hbase regionserver状态信息(是否在线). 2.hmaster启动时候会将hbase系统表-ROOT- 加载到 zook

【解决】hive与hbase表结合级联查询的问题

[Author]: kwu [解决]hive与hbase表结合级联查询的问题,hive两个表以上,关联查询时出现长时无法返回的情况.同时也不出现,mr的进度百分比. 查询日志如图所示: 解决这个问题,需要修改配置 set hive.auto.convert.join = false; 或者 <property> <name>hive.auto.convert.join</name> <value>false</value> </proper

HBase集成Zookeeper集群部署

大数据集群为了保证故障转移,一般通过zookeeper来整体协调管理,当节点数大于等于6个时推荐使用,接下来描述一下Hbase集群部署在zookeeper上的过程: 安装Hbase之前首先系统应该做通用的集群环境准备工作,这些是必须的: 1.集群中主机名必须正确配置,最好有实际意义:并且主机名都在hosts文件中对应主机IP,一一对应,不可缺少 这里集群有6台服务器:bigdata1,bigdata2,bigdata3,bigdata4,bigdata5,bigdata6 这里是3台主机,分别对

HDFS, YARN, HBase, Hive, ZooKeeper端口说明

这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: 件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS Dat