HBase分享会议笔记

今天参加了一个关于HBase的分享,有一些内容是之前的知识的补充。

之前关于Hadoop家族,包括HBase的内容,可以参考:http://www.cnblogs.com/charlesblc/p/6014158.html

HBase是三维存储和索引 (http://ronxin999.blog.163.com/blog/static/4221792020130109202973/

hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储。

rowkey

rowkey是唯一能进行scan操作的。

column key
column key是第二维,数据按rowkey字典排序后,如果rowkey相同,则是根据column key来排序的,也是按字典排序。
我们在设计table的时候要学会利用这一点。比如我们的收件箱。我们有时候需要按主题排序,那我们就可以把主题这设置为我们的column key,即设计为columnFamily+主题.,这样的设计。

timestamp
timestamp 时间戳,是第三维,这是个按降序排序的,即最新的数据排在最前面。这个就没有什么说的了。网上其他的博客也提到比较多。

HBase所在的层次要了解。

写的顺序,要了解:首先是写WAL,相当于Mysql的binlog;然后数据写Memstore,当Memstore满了之后进行Dump到HFile;注意Memstore有多份,当一份写满了,新开一个Memstore,同时旧的dump到File? (也可能不像分享里面说的,其实不开新的Memstore;而是每个region的列族都有单独的memstore对象但实际上共用一块内存池?)

分享的应用是把HBase 和 ES(ElasticSearch) 结合起来的。HBase作为底层存储,ES作为索引的组织和检索框架。

再开一篇文章讨论 ES和Solr的关系和区别。

时间: 2024-12-30 11:06:03

HBase分享会议笔记的相关文章

2014MadCon厦门分享会-笔记(下)

32 <如何与百度互动,不知道这些就不要做SEO了>百度站长平台资深产品运营师 曹丽丽(飞鸟) 33 注意百度站长平台的提醒.如果你不留电话,不留其他联系方式,出问题了,百度怎么提醒你呢? 34 为什么高富帅换域名时很平稳啊?注意使用以下工具:(1)高级互动工具-网站改版(需要提交相关信息,在过度一个月之后,再撤掉原来的域名)(2)抓取异常&拒绝外链(这些都要做好重定向,提前做好准备) 35 搜索结果还是可以出图的,就是在搜索结果中显示出图片(这个需要提供结构化数据) 36 更好收录.

hbase 分享笔记

hbase 测试例子文件:http://download.csdn.net/detail/ruishenh/9551930 hbase 是什么 官方说明:Use Apache HBase? when youneed random, realtime read/write access to your Big Data. This project's goalis the hosting of very large tables -- billions of rows X millions of

hbase 权威指南笔记(二)

这次我们先来讨论hbase的重试机制,为什么呐,因为最近公司最近也在做这方面的优化,所以就今天研究的一些成功记录一下. configuration.setInt("hbase.client.pause", 50);configuration.setInt("hbase.client.retries.number", 5);configuration.setInt("hbase.client.operation.timeout", 3000);co

HBase 性能优化笔记

转载:http://www.cnblogs.com/shitouer/archive/2012/08/07/2626377.html#hbase.hregion.max.filesize 1 hbase.hregion.max.filesize应该设置多少合适 2 autoflush=false的影响 3 从性能的角度谈table中family和qualifier的设置 4 hbase.regionserver.handler.count详解 1 hbase.hregion.max.filesi

HBase分享

1.HBase简介 2.HBase的rowkey,列限定符,列簇,时间版本 3.HBaseApi 4.启动HBase服务器,利用客户端连接HBase 5.HBase,java客户端开发以及配置 6.HBase的Region和regionserver以及Mate文件,root文件 7.

hbase definitive guide 笔记

ext3 file system 优化 ext3 在用在hbase上可以做如下优化: 1. mount的时候加上noatime选项.这可以减少管理开销 2. 用命令tune2fs -m 0 /dev/sda1 这样的命令去调整磁盘block 设置.默认ext3会在每一个block中预留一部分空间,这部分空间的目的是,一旦磁盘满了,那么一些critical进程比如OS服务,可以利用这部分空间,而不至于崩溃.这也是有时候我们发现/目录 100%但是OS仍然能运行的原因.这个设置对于根目录这种运行操作

产品经理的四个阶段(分享会笔记)

提笔画流程,上马定需求,进可稳迭代,退可跪开发. 我把产品经理分成四个阶段: 1)产品执行&用户体验 2)产品架构&技术实现 3)产品决策&产品模型 4)产品格局&社会价值 第一阶段:产品执行&用户体验 0-2岁的产品er大部分处于这个阶段,执行上面的想法,推动产品方案上线落地.这个阶段对于产品的好与坏的评判标准,基本是基于自己作为小白用户的视角. 如何避免在这个阶段被开发吐槽: 1.1 想清楚 方案idea可能是上面拍的,但方案细节是你自己定的,想清楚每一个交互细

第二天会议笔记

昨天布置的任务各个小组成员,牟松已经完成任务,云玲完成了一半,遇到了一些问题,正在解决中,张迪完成了四分之三. 今天的任务:牟松继续完善自己写得主页面,云玲,张迪接着自己的任务继续做,有问题及时提出,大家一起解决. 明天的任务:今天必须要把昨天布置的任务完成,明天开始新的目标. 大家加油!

02 - Unit07:显示笔记下拉菜单、笔记的分享功能、笔记的删除功能

显示笔记下拉菜单 笔记的分享功能 发送Ajax请求 绑定事件:绑定分享按钮单击事件 参数获取:笔记ID 发送请求:/share/add.do 服务器处理 ShareController ShareService ShareDao ShareMapper: inert inot cn_share Ajax回调处理 SUCCESS: 提示分享成功 ERROR:提示分享失败 笔记的删除功能 发送Ajax请求 绑定事件:监听alert页面创建按钮(给按钮增加ID:deleteNote) $("#can&