阿里云HBase全新发布X-Pack 赋能轻量级大数据平台

一、八年双十一,造就国内最大最专业HBase技术团队

阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储。持续8年的投入,历经8年双十一锻炼。4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献。集团内部超过万台的规模,单集群超过千台,全球领先。

二、HBase技术团队重磅发布X-Pack,重新赋能轻量级大数据平台

阿里云自从17年8月提供HBase云服务以来,到18年12月累计服务了上千大B客户,已经有上千个在线的集群。是阿里云增长最为快速的数据库服务,也是大B客户比例最高的云服务之一。并于6月6日全球第一个推出HBase 2.0,是HBase领域当之无愧的排头兵。

为了满足客户对数据库更丰富业务处理需求、更易用、强大功能的需求,我们重磅发布 X-Pack :支持SQL、时序、时空、图、全文检索能力、及复杂分析。阿里云HBase从KV为主大数据数据库成功进化成“轻量级全托管大数据平台”数据库。

全部能力计划12月底全部上线。

三、深度解读 “ 轻量级全托管大数据平台 ”,云HBase能力再上新台阶

通常一个大企业里面,数据和业务存在天然的多样性。真正称得上平台级的数据库,要至少要满足客户不同三个及以上层次的诉求,才能称的上平台级。

阿里云HBase从成本最优化、运维便利性、业务敏捷度三个方面将HBase的能力全面提升一个高度,成就轻量级全托管大数据平台,云HBase能力再上新台阶。

3.1 轻量级,满足CXO成本最优化的诉求

1)起步成本低,整体成本低,扩展性强。
云HBase针对企业不同的使用环境,不同的SLA诉求,云HBase一共提供3个版本,分别满足开发环境,在线业务,以及金融级业务的诉求。单节点版本,低廉的价格用于开发测试场景,集群版本,99.9%可用,满足企业在线业务诉求,支持最高5000万的QPS和10P的数据。还有支持金融级高可用的双活版本。所有版本都支持11个9的数据可靠性,无需担心数据丢失。

2)支持冷存储,助你不改代码,1/3成本轻松搞定冷数据处理

大数据场景下,存储成本占比往往是大头,把存储成本降下来,整体成本才能下降。

一般随着业务的发展,HBase中存储的数据量会逐渐变大。在这些数据中,业务最关心的,最常访问的,往往是某些特定范围的数据,比如说最近7天的数据,业务对这类数据访问频次高,延迟要求高,即所谓的热数据。而其他的数据,一般访问量极少,性能要求不高, 但这类数据往往数据量大,即冷数据。如果能把冷热数据分离开,把热数据存储在性能更好的介质中,而把庞大的冷数据放到成本更低的介质中,从而实现把更多优质资源用来提高热数据的读写性能,同时节省存储成本的目的。

阿里云HBase针对冷数据存储的场景,提供一种新的冷存储介质,其存储成本仅为高效云盘的1/3,写入性能与云盘相当,并能保证数据随时可读。冷存储的使用非常简单,用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间,并通过建表语句指定将冷数据存放在冷存储介质上面,从而降低存储成本,基本不用改代码就获得了低成本存储能力,助力企业降低整体成本。

3.2 全托管,全面解放运维,为业务稳定保驾护航

大数据时代,数据是企业最宝贵的资产,业务是企业赖以生存的基础。因此高可用和高可靠是最基本诉求。云HBase提供的全托管服务相比其他的半托管服务以及自建存在天然的优势。

依托持续8年在内核和管控平台的研究,以及大量配套的监控工具、跨可用区,跨域容灾多活方案,云HBase提供目前业界最高的4个9的可用性(双集群),11个9的可靠性的高SLA的支持,满足众多企业客户对平台高可用、稳定性的诉求。

云HBase服务定位为全托管服务,后台自动代维和保持服务稳定性,极大的降低了客户使用门槛,让无论是SME,还是巨头都能享受到HBase技术红利。选择云HBase就是选择了高可用、高可靠服务!

3.3 全面能力提升,源头解决业务敏捷度,真正释放数据和业务的价值

1)100%兼容原生接口和能力,开发简单,容易上手。
云HBase百分百兼容开源接口,并提供一系列配套开发,数据搬迁,监控工具,全面帮助用户提高开发和管理效率。

2)独家跨Region/AZ双活

阿里云是云HBase首家推出跨Region/AZ双活,在一个集群出现故障的时候,迅速地将业务切换至另外一个集群从而避免故障。HBase主备之间数据的同步基于异步链路实现,遵循最终一致性协议,典型的主备同步延迟在200ms左右。满足金融、社交、电商、人工智能等关键领域对高可用的诉求。

3)备份恢复量级提升百倍以上,数据库领域最大
我们经常会听到“某某某DBA误操作把整张表删了”,“某某磁盘故障,造成数据库的某个库的数据全部损坏了”。这种由于外在和内在的原因造成的数据不可靠,最终会给用户带来毁灭性的灾难。

所以一个企业级数据库,全量备份、全量恢复、增量备份、增量恢复,是基础能力。传统数据库备份恢复的能力都是TB级别,这在交易等场景下面是足够的,但是面向大数据场景就捉襟见肘了。云HBase通过垂直整合高压缩、内核级优化,分布式处理等能力,将备份恢复的量级成功推高百倍以上,做到百TB级别甚至更高,让客户大数据量下面也无后顾之忧。

4)支持融合多模型和融合多负载、提供开箱即用的能力

云HBase在KV的基础上,同时支持时序、时空、图、文档等多种数据模型,内置丰富处理能力,让业务开发效率提升百倍。

在线能力的基础上,融合流处理、批处理、OLAP,OLTP、高速对象存储,全文检索等能力,提供客户融合业务开箱即用的能力。

四、展望未来,持续优化服务,不负重托,成就客户

历经近8年的技术沉淀,阿里巴巴大数据NoSQL数据库处理技术的精华沉淀在HBase上,后者成功支撑了成功支撑了阿里经济体中最大的NoSQL业务体量,是阿里大数据处理技术的核心组成部分,当前将这项技术应用到广大企业中,助力企业发现数据价值。

短短1年间,就覆盖了社交、金融、政企、车联网、交通、物流、零售、电商等数十个个行业,帮单用户顶住千万级QPS的业务压力,以及百PB级数据高效存储和处理。

展望未来,云HBase团队定不负客户重托,持续围绕客户业务,成本,运维各个方面优化服务,成就客户!

原文链接
本文为云栖社区原创内容,未经允许不得转载。

原文地址:https://www.cnblogs.com/yunqishequ/p/10075629.html

时间: 2025-01-14 11:34:14

阿里云HBase全新发布X-Pack 赋能轻量级大数据平台的相关文章

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

摘要: 在阿里巴巴在线在线技术峰会上的第三天,来自阿里云高级技术专家李金波为大家题为<企业大数据平台仓库架构建设思路>.本次分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进

阿里云HBase发布冷存储特性,轻松搞定冷数据处理

摘要: 9月27日,阿里云HBase发布了冷存储特性.用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间,并通过建表语句指定将冷数据存放在冷存储介质上面,从而降低存储成本.冷存储的存储成本仅为高效云盘的1/3,适用于数据归档.访问频率较低的历史数据等各种场景. 9月27日,阿里云HBase发布了冷存储特性.用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间,并通过建表语句指定将冷数据存放在冷存储介质上面,从而降低存储成本.冷存储的存储成本仅为高效云盘的1/3,适用于数

兑吧:从自建HBase迁移到阿里云HBase实战经验

摘要: 业务介绍 兑吧集团包含兑吧网络和推啊网络,兑吧网络是一家致力于帮助互联网企业提升运营效率的用户运营服务平台,提供积分商城和媒体运营服务.推啊网络是一家互动式广告平台,经过多年的探索与实践,首创了全新的移动广告模式,实现了广告主.媒体.用户多方共赢. 业务介绍 兑吧集团包含兑吧网络和推啊网络,兑吧网络是一家致力于帮助互联网企业提升运营效率的用户运营服务平台,提供积分商城和媒体运营服务.推啊网络是一家互动式广告平台,经过多年的探索与实践,首创了全新的移动广告模式,实现了广告主.媒体.用户多方

#2015,赢在云端# 阿里云服务全新呈现

#2015,赢在云端# 阿里云服务全新呈现,节点国际化.上云更容易.备案全覆盖.6大金牌服务保障.新一年,让我们做的更好!主会场链接:http://click.aliyun.com/m/862/

IIs 常见问题,阿里云配置,发布网站

iis 常见问题  阿里云配置 三. 发布网站 发布的时候 ,调试模式改为 release,选择一下选项 选项:发布前删除所有现有文件,是指发布时候先删除发布文件中所有文件 原文地址:https://www.cnblogs.com/haigui-zx/p/9829067.html

《ServerSuperIO Designer IDE使用教程》- 6.增加与阿里云物联网(IOT)对接服务,实现数据交互。发布:v4.2.4 版本

v4.2.4 更新内容:1.增加了对接阿里物联网平台的服务.下载地址:官方下载   6. 增加与阿里云物联网(IOT)对接服务,实现数据交互  6.1    概述 为了满足业务系统数据上云的要求,ServerSuperIO集成了对接阿里云物联网的服务.企业级系统建设采用ServerSuperIO作为后台服务,同时可以把数据上传到阿里云物联网平台,后续使用阿里的产品体系构建应用.当然也可以在阿里云购买服务器资源,把ServerSuperIO部署在服务器上,使用SuperLink(内部定义的协议)协

阿里云输了官司事小,保护用户数据才是大事

日前,国内首例涉及服务器提供商责任认定问题的案件, 因涉及到云计算领域的佼佼者阿里云而受到广泛关注.值得一提的是,事情的经过颇具戏剧性. 奇葩案例:被告没告成,却把被告的云服务商给告了 先是,乐动卓越公司发现<我叫MT畅爽版>的网络游戏涉嫌非法复制自己的<我叫MT online>游戏的数据包.因而认定涉案网站经营人的行为涉嫌侵犯其对<我叫MT>游戏享有的复制权.发行权.信息网络传播权. 不过乐动卓越公司通过whois域名查询系统.域名备案系统,却没能查到涉案网站经营人的

在阿里云入了大坑, 园子里的大神, 求搭救

在阿里云入了大坑, 园子里的大神, 有谁在香港知道有好的服务器IDC呢 本月从2号到11号, 在香港阿里云这边放了几组服务器, 一直丢包, 上次也发过这样的博文, 一直没得到解决, 跳进大坑啦, 向园子大神求助, 香港地区哪有稳定点的机房呢? 今天周未, 本来是特开心的一天, 又给这货坑坏了, 大家看下面 不知大家能不能接受这样的效果. 工单早上填了到现在有人回复, 和上次的是一样, 主机CPU/IO/流量正常,80正常 看到了没办法, 打95187这个客服电话, 更气的是, 我是客服, 你要填

大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录

一.背景介绍 最近几天,接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务.而申请的这个ODPS平台是属于政务内网的,因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的,所以不能使用数据采集工作流模板. 然而,考虑到原大数据平台数据量并不是很大,可以通过将原大数据平台数据导出到CSV文件,然后再将CSV文件导入到ODPS平台.在这个过程中踩的坑有点多,所以想写篇文档作为记录. 二.大数据平台Hive数据导出到本地 编写export_data.sh脚本如下: #!/