云数据库PolarDB(一)

一、出现的背景及PolarDB简介

阿里云,中国第一家拥有完整云计算能力的企业。

2015年,在计算界的奥运会Sort Benchmark中,阿里云计算100TB数据排序只用了不到7分钟,把ApacheSpark之前创造的23分钟世界纪录一下子缩短了一多半。这说明,中国人研发的云计算系统不仅成功了, 而且不比世界上任何现存的云计算系统差。

成功登顶的“云梯2”,后来更名为ODPS,“加冕”成为了阿里巴巴各项业务通用的大数据计算平台。ODPS验证成功之后,阿里立刻启动“登月计划”,把所有数据和计算都迁移到飞天为基础的系统上,全盘替代IOE和云梯1。2013年5月,阿里巴巴最后一台小型机下线。7月,淘宝最后一个Oracle数据库下线。阿里巴巴这台战车,用了五年时间,在超高速行驶中,没有踩一脚刹车,成功更换了发动机。因为突破了技术瓶颈,在5K之后,ODPS只用了几个月就冲上了单机群10K,进而实现了无限制扩展。到2018年,已经更名为MaxCompute的ODPS达到了数万台的规模。

?

在芯片领域,我们面对美国垄断只得眼睁睁地静默。

在操作系统领域,我们面对美国的背影只能艰难追赶。

但是在云计算这片土地上,从王坚带着一群理想主义者横空出世,到胡晓明把商业战场拉至和亚马逊的AWS同一级别。中国人用了十年时间造出的全球第三、亚洲第一的阿里云,不说和美国战位和棋,至少在世界的版图上夺下了堪为广袤的一片疆土。

2018年,当年为阿里云对接淘宝立下汗马功劳的小邪正式加入阿里云,掌管“飞天八部”,阿里云所有的现役主力和技术,都归至他麾下。此时小邪nian中的弹药充足:2017年发布的神龙云服务器,是对下一代云计算主机的探索。同年发布的PolarDB,剑指商业数据库Oracle和它的继任者MySQL,也称得上是阿里云未来之星。2018年初,飞天的分布式存储系统“盘古”升级到了2.0,成为了阿里巴巴统一存储平台。2018年秋天的云栖大会上,唐洪、小邪、何导等阿里云大咖系数登场,发布了飞天2.0。敢称2.0,是因为他们把野心放到了“万互联”的下一个20年。如此尝试和未来对话的技术还有很多。

其中,PolarDB是阿里云自研的下一代关系型云数据库,100%兼容MySQL,存储容量最高可达100TB,性能最高提升至MySQL的6倍,单库最多可扩展到16个节点,使用与企业多样化的数据库应用场景。PolarDB采用存储和计算分离的架构,所有计算节点共享一份数据,提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务。PolarDB既融合了商业数据库稳定可靠、高性能、可扩展的特性,又具有开源云数据库简单开放、自我迭代的优势,而成本只有商用数据库的1/10。

?

二、PolarDB优势分析

1.简单易用:100%兼容MySQL。在已有的使用MySQL数据库的应用程序代码、驱动无需更改,即可运行于PolarDB。

2.极致性能,降低成本:(1)针对数据库内核进行深度优化,同时采用物理复制、RDMA高速网络和分布式共享存储,读性能最高能达到MySQL的6倍;(2)集群包含一个主节点和最多15个只读节点,满足高并发场景对性能的要去,尤其适用于读多写少的场景。

3.超大容量,支持上百TB级别数据:采用分布式块存储设计和文件系统,使得存储容量不限制于单节点的规格,能够轻松扩展,应对上百TB级别的数据规模。

4.快速弹性,应对不确定的业务增长:(1)Serverless存储,存储空间无需手动配置,根据数据量自动伸缩,用户只需为实际使用的数据库容量付费;(2)配置降级,3分钟生效,采用容器虚拟化技术和共享的分布式块存储技术,使得数据库服务器的CPU、内存能够快速扩容;(3)增减节点,3分钟生效,通过动态增减节点提升性能或节省成本。通过使用集群连接地址,可屏蔽底层的变化,应用对于增减节点无感知。

5.下一代数据库引擎内核:(1)基于共享存储的一写多读集群,数据只需要一次修改,所有节点立即生效。例如,大表加索引可能需要30分钟,那么在MySQL中,主备库共需要1个小时,且备库会延迟至少30分钟。而在POLARDB中,主库加索引后,备库立即生效,总耗时30分钟,延迟不超过1分钟;(2)采用物理日志代替逻辑日志,通过共享存储和物理日志,使得主备库延迟控制在毫秒级以内,且可根据实际情况修改为主备库强同步(会牺牲一定的写入性能);(3)无锁备份,利用底层分布式存储的快照技术,只需分钟级别即可完成对上1TB的数据库进行备份,且整个备份过程不需要对MySQL加锁,效率更高,影响更小;(4)并行查询引擎(SQL加速),通过并行计算提升复杂大SQL的查询性能,尤其适用于大表关联查询、对无索引列的点查询、多字段分组查询等场景,根据实际情况性能可提升8~30倍。

6.高可用和高可靠保障:(1)共享分布式存储的设计,彻底解决了MySQL Master-Slave异步复制所带来的备库数据非强一致的缺陷,使得整个数据库集群在应对任何单点故障时,可以保证数据0丢失;(2)采用Active-Active的高可用集群架构,可读写的主节点和只读节点之间进行Failover切换,与传统的Active-Standby相比,用同样成本带来了更好的系统访问性能。

7.数据安全可靠:采用白名单、VPC网络、SSL加密、数据多副本存储等全方位的手段,对数据库数据访问、存储、管理等各个环节提供安全保障。

三、PolarDB架构特点

1.一写多读

2.计算与存储分离

3.读写分离

4.高速链路互联

5.共享分布式存储

6.数据多副本、Parallel-Raft协议

云数据库PolarDB基于Cloud Native设计理念,其架构示意图及特点如下:

?

四、PolarDB的应用场景

1.高并发读写OLTP

?

2.高可用、弹性扩展

?

3.迁移上云

?

原文地址:https://www.cnblogs.com/zhcsdn/p/10056086.html

时间: 2024-08-02 03:51:50

云数据库PolarDB(一)的相关文章

初识云数据库POLARDB及踩过的那些坑

摘要: 初识云数据库POLARDB,本文从背景.架构.体验POLARDB和总结四个方面来介绍POLARDB.读完本文后,你对POLARDB有一个初步的认识. POLARDB背景POLARDB是阿里云自主研发的,具有里程碑意义的新一代关系型数据库,是与MySQL完全兼容的云托管数据库产品.它秉承Cloud Native的原生设计理念,采用了分布式存储引擎设计,性能最高可达到MySQL的6倍.在提供高吞吐.低延迟OLTP服务的同时,POLARDB以更低的使用成本,为用户提供更好的系统在线扩展服务.

阿里云自研新一代企业云数据库POLARDB背后的技术

摘要: 从2008年到2018年,阿里巴巴的数据库技术已经发展了10年的时间,10年的时间从AliSQL到RDS,再到自研POLARDB,阿里巴巴数据库技术得到了极大的提升.那么在阿里云自研新一代企业云数据库POLARDB背后有哪些技术呢?本文中,阿里云数据库事业部总经理鸣嵩就为大家进行分享. 从2008年到2018年,阿里巴巴的数据库技术已经发展了10年的时间,10年的时间从AliSQL到RDS,再到自研POLARDB,阿里巴巴数据库技术得到了极大的提升.那么在阿里云自研新一代企业云数据库PO

深入解读阿里云数据库POLARDB核心功能会话读一致性

POLARDB架构 我们知道,POLARDB是一个由多个节点构成的数据库集群,一个主节点,多个读节点.对外默认提供两个地址,一个是集群地址,一个是主地址,推荐使用集群地址,因为它具备读写分离功能可以把所有节点的资源整合到一起对外提供服务. MySQL读写分离解决和引入的问题 用过MySQL的都知道,MySQL的主从复制简单易用,非常流行,通过把主库的Binlog异步地传输到备库并实时应用,一方面可以实现高可用,另一方面备库也可以提供查询,来减轻对主库的压力. 虽然备库可以提供查询,但存在两个问题

重新定义数据库的时刻,阿里云数据库专家带你了解POLARDB

摘要:POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库,其最大的特色是计算节点与存储节点分离,借助优秀的RDMA网络以及最新的块存储技术.POLARDB不但满足了公有云计算环境下用户业务快速弹性扩展的刚性需求,同时也满足了互联网环境下用户对数据库服务器高可用的需求.本文就带领大家了解什么是"云原生数据库",云原生数据库的标准是什么,如何定义以及为何如此定义?为大家介绍下一代云原生数据库POLARDB的架构.产品设计.未来工作等内容. 以下内容根据

顶级数据库行会Percona阿里全面解析下一代云数据库技术

摘要: 几年前,数据库管理系统的企业市场似乎还如同铜墙铁壁,除了老牌厂商外,其他厂商休想打进来. 随着移动互联.物联网技术的发展,多终端应用的时代悄然而至.结构化与非结构化数据的爆发,推动人类社会进入大数据时代.海量数据瞬间涌来,让企业传统数据库系统不堪重负,针对海量数据的收集.存储与分析,原始的封闭式架构显然已经不能顺利承载汹涌而来的数据大潮,企业数据库上云迫在眉睫. 2017年,Gartner发布的数据库行业报告首次收录了来自中国的数据库厂商:阿里云Alibaba Cloud,标志着中国数据

面向云数据库,超低延迟文件系统PolarFS诞生了

摘要: 如同Oracle存在与之匹配的OCFS2,POLARDB作为存储与计算分离结构的一款数据库,PolarFS承担着发挥POLARDB特性至关重要的角色.PolarFS是一款具有超低延迟和高可用能力的分布式文件系统,其采用了轻量的用户空间网络和I/O栈构建,而弃用了对应的内核栈,目的是充分发挥RDMA和NVMe SSD等新兴硬件的潜力,极大地降低分布式非易失数据访问的端到端延迟. 随着国内首款Cloud Native自研数据库POLARDB精彩亮相ICDE 2018的同时,作为其核心支撑和使

什么是最适合云数据库的架构设计?

分布式数据库技术发展多年,但是在应用.业务的驱动下,分布式数据库的架构一直在不断发展和演进. 开源金融级分布式数据库SequoiaDB,经过6年的研发,坚持从零开始打造数据库核心引擎.在技术探索中,选择了更适合云数据库场景的架构和引擎设计.本文也将详细展开,介绍目前SequoiaDB的架构与设计理念. SequoiaDB近日也完成由嘉实投资领投的C轮融资.本轮的领投方为嘉实投资,启明创投与DCM作为早期投资方跟投.SequoiaDB巨杉数据库一直坚持技术驱动产品,专注打造金融级分布式数据库,成为

选择阿里云数据库HBase版十大理由

根据Gartner的预计,全球非关系型数据库(NoSQL)在2020~2022预计保持在30%左右高速增长,远高于数据库整体市场. 阿里云数据库HBase版也是踏着技术发展的节奏,伴随着NoSQL和大数据技术的兴起和发展,从2010年开始研究和发展.时光荏苒,日月如梭,转眼九年时间,在阿里云上直接开放提供服务也有1年多时间,并在去年的12月份全新发布X-Pack,将单一的HBase演进到一个完整的数据处理平台的能力.我们注意到还有很多同学和客户不清楚HBase X-Pack是什么,什么场景下合适

Android通过php连接百度云数据库

要用php对百度云数据库进行操作的话,都要先通过php文件连接到百度云,连接云数据库的php文件名是conn,内容如下: <?php //echo "这是php数据库访问层!"; $dbhost = "sqld.duapp.com:4050"; $dbuser = ""; //我的用户名 $dbpass = ""; //我的密码 $dbname = ""; //我的mysql库名 $cn = mysq