阿里巴巴下一代云分析型数据库AnalyticDB入选Forrester Wave? 云数仓评估报告

摘要: 近期, 全球权威IT咨询机构Forrester发布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选 !AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。

前言
近期, 全球权威IT咨询机构Forrester发布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选 !AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。本文将深入解读AnalyticDB成功入选背后的核心产品以及带来的客户价值。

核心能力一:快和实时

分析型数据库AnalyticDB在瞬间即可对万亿级别的数据进行实时的多维度分析透视,快速发现数据价值。AnalyticDB对复杂SQL查询速度相比传统的关系型数据库快10倍,此外,AnalyticDB还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势:

智能SQL优化器:针对复杂的SQL查询,AnalyticDB的SQL Optimizer 实现了多种查询改写优化,同时依据统计信息选择JOIN ORDERING最优路径,并支持 CTE 归并等功能。同时针对高并发低延迟查询,提供智能的 Plan cache,将相似SQL Pattern 计划都缓存起来,规避重复优化开销。

曦和计算引擎: AnalyticDB 在2017年全面升级为新一代曦和分布式计算引擎,整体采用MPP架构,并支持DAG计算模型,节点内引入LLVM等运行时编译优化JIT技术,性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元,引擎内置分时轮询的计算调度机制,可以保证高并发下作业任务的稳定运行。

玄武存储引擎:AnalyticDB支持行列混合存储,同时针对不同的数据类型,当数据实时写入时,智能的构建多种维度索引,包括B+索引、区间索引、倒排索引、位图索引等,并对传统索引算法进行创新,引入动态过滤、延迟物化等方式,极大的降低I/O,实现高性能的点或范围的检索,支持千亿级记录关联分析。

核心能力二:超大规模
AnalyticDB是全分布式结构,使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。 AnalyticDB 基于阿里云飞天系统构筑,AnalyticDB采用分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构,都充分的考虑了规模化扩展性问题。



核心能力三:高并发实时写入和更新

由于无论是前端接入层、写入节点支持动态大规模扩展,客户可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至1000万+TPS的写入能力,实时写入后,数据秒级别可见,从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据,十万亿记录,传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。正是由于具备海量数据实时写入能力,AnalyticDB数据分析时效性非常高,是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四:灵活

AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计,全局无单点。外加存储计算分离结构,带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量,还可以做实例规格的动态升降配。AnalytiDB同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说: 可以从8个高性能的c4实例升到12个高性能的c8实例,或从12个c8降到8个c4,甚至从2个高性能c8节点切换至4个大存储SATA的s2n等,企业可以真正做到灵活控制成本。

核心能力五:易用

AnalyticDB作为云端托管的PB级SQL数据仓库,高度兼容MySQL协议和SQL:2003,通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(Datav & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。AnalyticDB旨在帮助企业降低实时数据化运营的建设门槛。

为企业解决数据化建设效率和性能难题

递四方集团(4PX)是领先的跨境电商物流服务提供商。递四方信息科技团队在建设了多年的离线数据平台后,需要短时间内建设PB级别实时数据平台支持数字化运营。递四方信息科技在调研了一系列的解决方案后,综合成本和建设效率等因素,最后选择了基于AnalyticDB来构建实时数据平台。 双方通力合作,在极短时间内通过
DTS+AnalyticDB+DataV/QuickBI套件,以简单快速的拖拽配置方式完成了4PX企业实时数仓的初期基础建设。

无他相机作为一款流行的拍照智能App, 有各种用户和App数据需要上报做实时分析,以帮助运营人员做活动效果分析以及开发人员做App分析,不断优化用户体验和App质量。数据总量约100亿,需实时入库更新,客户最早期的方案是MySQL,后续换成了MongoDB,解决了实时写入问题,但是分析性能巨慢。在使用了分析型数据库的存储型实例后,将业务数据直接写入AnalyticDB,不但解决了实时高并发写入问题,复杂分析性能从40分钟+降低到秒级别,高分期QPS 1800+。

典型行业客户-他们也在使用AnalyticDB

展望未来:储备更多创新力量 + 构筑更丰富的生态

分析型数据库AnalyticDB,作为阿里巴巴下一代PB级实时数据仓库, 承载着整个集团内和云上客户的数据价值实时化分析的使命。此次报告可以看出,整个大数据企业服务迈入CDW阶段,灵活、易用、自助化服务成为主流趋势,AnalyticDB接下来将在易用性、数据通道、任务管理、可视化等周边生态建设上继续做广、做深。同时也为未来储备了一些核心力量,并取得阶段性的进展:

分析型数据库AnalyticDB首次在“双11 全球狂欢节” 采用GPU加速加速技术,在计算成本大幅降低的情况下,服务全球商家将数据分析从离线进入在线时代,支撑PB级数据从T+1计算提速到秒级实时分析。
向量分析首次支撑银泰、盒马等新零售场景的人脸识别、算法推荐、结构化数据实时融合分析,毫秒级打通线上线下会员体系,支撑实时数据化线下互动、营销。
AnalyticDB为数据价值在线化而生,作为实时云数据仓库平台,希望能将最领先的下一代实时数仓能力普惠给所有企业,帮助企业转型加速数据价值探索和在线化。
查的慢,就用AnalyticDB!

原文地址:http://blog.51cto.com/14031893/2324476

时间: 2024-10-10 04:14:01

阿里巴巴下一代云分析型数据库AnalyticDB入选Forrester Wave? 云数仓评估报告的相关文章

Forrester:2018年度安全分析平台厂商评估(Forrester Wave)

2018年9月21日,Forrester正式对外发布了2018年度的安全分析平台(Security Analytics Platform)的厂商评估报告(即Forrester Wave),这个评估类似Gartner的MQ.SAP这个细分市场是Forrester在2016年提出来的,并且在2017年第一次给出了Forrester Wave评估(参见<Forrester:2017年度安全分析平台厂商评估(Forrester Wave)>).对于SAP和SA的定义我在之前这个文章中已经进行了阐释,这

amazon redshift 分析型数据库特点——本质还是列存储

Amazon Redshift 是一种快速且完全托管的 PB 级数据仓库,使您可以使用现有的商业智能工具经济高效地轻松分析您的所有数据.从最低 0.25 USD 每小时 (不承担任何义务) 直到每年每 TB 1,000 USD (PB 级),成本不到传统解决方案的十分之一.客户通常进行 3 倍压缩,也就是将其成本降低到每年每 TB (未压缩) 333 USD. 问:与最传统的数据仓库存储及分析用数据库相比,Amazon Redshift 的性能如何? Amazon Redshift 使用各种创新

Forrester Wave? : 云工作负载安全领域的领导者--Bitdefender

独立研究和咨询公司Forrester将Bitdefender评为Forrester Wave? : 2019年第四季度云工作负载安全领域的领导者. 在评估的13家供应商中,Bitdefender被选为评估中仅三位领导者之一.排名基于对供应商当前产品,策略和市场占有率的30项严格标准评估. Forrester报告评价:" Bitdefender在数据库,用户和代理部署管理方面表现出色." " Bitdefender 建立在其恶意软件,内存和hypervisor 保护/intro

Forrester:2017年度安全分析平台厂商评估(Forrester Wave)

2017年3月6日,Forrester第一次发布了安全分析平台(Secuirty Analytics Platform)的Forrester Wave(类似Gartner的Magic Quadrant). 首先,让我们看看什么是SA? [定义1:Forrester]The primary purpose of SA is to provide centralized visibility across the environment for quick threat detection and

剖析云计算中的“共享型数据库”(转载)

一.摘要  随着云计算的出现,出现了很多新的名词,像云数据库.云存储.弹性扩容,资源隔离等词汇.下面就大家炒的比较热的"共享型数据库"做一下解释,给大家剖析什么叫"共享型数据库".  二.什么是共享型数据库 谈及"共享型数据库",最让我们困惑的是"共享型"三个字. "共享型"让我们会想到其反义词 - "独享型". 没错,"共享型数据库"是对比"独享型数据库&

重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB

摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的RDMA网络以及最新的块存储技术.POLARDB不但满足了公有云计算环境下用户业务快速弹性扩展的刚性需求,同时也满足了互联网环境下用户对数据库服务器高可用的需求.本文就带领大家了解什么是"云原生数据库",云原生数据库的标准是什么,如何定义以及为何如此定义?为大家介绍下一代云原生数据库POLARDB的架构.产品设计.未来工作等内容. 以下内容根据

关于事物型数据库的索引原理

1.二分查找算法 二分查找法的时间复杂度为Ο(log2n).大家如果有兴趣可以去验证一下这个结果,这里我就不做解释了. 我们具体来感受一下二分查找法有多强大,假设:集合里面有40亿个元素,排序方式为从左往右,依次递增,我们最多需要查找log2 4000000000  = 32次,就可以在40亿个元素里面找到我们需要的元素 .说点题外话:虽然二分查找法很强大,但这并不意味着二分查找法适用于任何场景,因为我们在为业务场景选择算法时,除了算法的时间复杂度,还要考虑空间复杂度,而且越复杂的程序越是容易发

轻松上云系列之一:本地数据迁移上云

背景信息在云计算服务高速发展的今天,如何方便快捷地将已有的服务器系统迁移上云,有着非常重要的意义.阿里云服务器迁移服务方案,即迁移服务,正是在这个需求背景下应运而生.它极大地简化了服务器系统迁移工具的使用条件.降低了使用成本,使用户的系统一键迁移到阿里云成为可能. 使用迁移服务来进行系统迁移比较便捷,您可以先参考迁云工具帮助文档了解使用条件及基本操作. 迁移流程1.熟悉迁移工具使用方法,提前做好测试演练. 2.评估迁移时间/成本,制定迁移计划. 3.正式迁移,可咨询阿里云团队支持. 数据传输服务

剖析云平台中的“共享型数据库”

摘要: 随着云计算的出现,出现了很多新的名词,像弹性扩容,平缓迁移,资源隔离等.目前我就“共享型数据库”做一下解释,下面就以京东云擎的云数据库为例,给大家剖析什么叫“共享性数据库”.  这个是我第一篇帖子,我首先自我介绍一下,我从事IT行业10年,在多年以前是一名架构师,现在在一家互联网企业做产品经理,下面的仅仅是因为个人与行业一些从业人员交流得到的心得以及总结,有不妥之处请见谅. “共享型数据库”是对比“独享性数据库”的一种针对用户资源所有权的数据库称谓,它是伴随着云计算出来之后的一种数据库创