hbase设计方案1

好的方案应该挺多的，比如:可以将【日、周、月】以3,2,1来表示(拼接到ROW_KEY中){离线跑job时候，可以分为月job(每月末run一下,周job(每周末run一下),日job(每天run一下)};然后在服务端对请求过来的日期时间段，做下计算：根据两个日期，计算出START_ROW_KEY以及END_ROW_KEY,比如:2014-09-15~2014-09-23(这个是跨周的，先计算出整周的那个周末日期,该日期类型为2;然后剩余的两个日期22及23号,作为天,类型为3;

最后分别进行查询，然后在程序里Merge下,最终的查询只有3次

我一直用的是上述的方式，说得有些啰嗦，不知道说明白没有

时间： 2024-08-08 03:41:49

hbase设计方案1的相关文章

HBase加Solr

HBase加Solr 如何解决分布式系统数据事务一致性问题 (HBase加Solr) 摘要:对于所有的分布式系统,我想事务一致性问题是极其非常重要的问题,因为它直接影响到系统的可用性.本文以下所述所要解决的问题是:对于入HBase和Solr的过程,如何保证HBase中写入的数据与Solr中写入的数据完全一致. 关键词:HBase, Solr, 分布式, 事务, 系统架构, 大数据 作者:王安琪(博客:http://www.cnblogs.com/wgp13x/) 一.关于分布式系统事务一致性问题

HBase 实战(2)--时间序列检索和面检索的应用场景实战

前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇主要讲述面向时间序列/面检索的应用场景时, 如何利用HBase的特性去处理和优化. 构造应用场景 某气象局对各个站点的信息进行采集和汇总, 这些信息包括站点id, 时间点, 采集要素(要素特别多). 然后对这些采集的数据, 提出如下检索需求: 1). 时间序列检索(检索出该站点的在某个时间范围内的全要素信息) 2). 面检

HBase二级索引与Join

转自:http://www.oschina.net/question/12_32573 二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性.RDBMS支持得比较好,NOSQL阵营也在摸索着符合自身特点的最佳解决方案.这篇文章会以HBase做为对象来探讨如何基于Hbase构建二级索引与实现索引join.文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook和官方Coprocessor方案的介绍. 理论目标在HBase中实现

面向HBase的内存key-value缓存的实现

0x01 背景 之所以要实现这个缓存主要原因如下(但是由于不是实际业务场景需求,所以可能不太准确,也可能不存在这个需求): * 非结构化数据的爆炸式增长 * 处理速度的要求越来越高 * HBase是面向硬盘的 * 内存容量越来越大 * 热点数据可以在内存放下 0x02 设计方案 通常的要实现缓存,主要是在有两个大方向实现,一个是在客户端实现,另一个时在服务端实现 * 客户端实现 - 修改Hbase Client的源码,在Put, Get等关键操作的地方加入缓存机制 - 在client端设计一种缓

Hbase 设计与开发实战

Hbase 概述 大数据及 NoSQL 的前世今生 传统的关系型数据库处理方式是基于全面的 ACID 保证,遵循 SQL92 的标准表设计模式(范式)和数据类型,基于 SQL 语言的 DML 数据交互方式.长期以来这种基于关系型数据库的 IT 信息化建设中发展良好,但受制于关系型数据库提供的数据模型,对于逐渐出现的,为预先定义模型的数据集,关系型数据库不能很好的工作.越来越多的业务系统需要能够适应不同种类的数据格式和数据源,不需要预先范式定义,经常是非结构化的或者半结构化的(如用户访问网站的日志

hbase二级索引

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性,RDBMS早已支持,NOSQL阵营也在摸索着符合自身特点的最佳解决方案.这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join.文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍. 理论目标在HBase中实现二级索引与索引Join需要考虑三个目标:1,高性能的范围检索.2,数据的低冗余(存储所占的数据量).

HBase应用开发回顾与总结系列之一：概述HBase设计规范

  概述 笔者本人接触研究HBase也有半年之久了,虽说不上深入和系统,但至少算是比较沉迷.作为部门里大数据技术的探路者,笔者还要承担起技术传播的职责,所以在摸索研究的过程中总是不断地进行总结和测试,一路走来,慢慢地积累了一些东西,整理了一下,做成一个技术系列文档,暂时就叫做"HBase应用开发回顾与总结".虽然称不上什么高深莫测的技术,但本着开源和分享的精神,笔者本人还是很乐意将它逐篇贴出来.另外,笔者认为<HBase权威指南>算是比较好的HBase方面的技术书籍了,推荐

HBase存储方案设计

需求描述 将数据记录持久化存储在HBase中,需要支持如下功能: 支持高吞吐量读写操作,实时采集10,000条/秒: 支持动态添加字段: 支持服务端过滤: 支持部分字段修改. 设计方案 按列存储 优点 扩展性好,支持动态添加新列: 支持服务端按列过滤: 可读性好,方便调试: 获取少量列数据时,读取数据少,节约网络带宽资源: 方便修改部分列值. 缺点 占用磁盘空间较多: 数据采集性能差. 列合并为JSON格式存储 优点 相对方案1,减少数据列,节约磁盘空间: 相对方案1,数据读.写性能较好: 扩展

HBASE学习使用经验

问题导读: 1. NOSQL是如何产生的以及Hbase 在NOSQL中的地位如何? 2. Hbase框架是如何架构出来的 ? 3. Hbase 是如何检索一条数据以及检索时间复杂度是多少? 4. 如何设计 Hbase 数据库? 5. 还有哪些HBase调优小技巧? 解决方案: 大数据技术如火如荼,在大数据挖掘及分析平台技术中,作为海量数据操作及高客户端并发解决方案的 NoSQL 技术特别是 Hbase 首当其冲,在众多项目中得到广泛的应用,但对于 Hbase 表设计模式/IO 考虑/性能调优等实