【巨杉数据库SequoiaDB】点燃深秋,巨杉数据库亮相DTC数据技术嘉年华大会

2019年11月15日,第九届数据技术嘉年华大会在北京隆重召开,本次大会以 “开源 ? 智能 ? 云数据 - 自主驱动发展 创新引领未来” 为主题,探索数据价值,共论智能未来。SequoiaDB 巨杉数据库作为领先的金融级分布式关系型数据库,为大家带来新一代分布式数据库的发展趋势和特性,也通过分享巨杉的丰富金融级实践经验,帮助大家充分了解分布式数据库当前的应用场景。

****分布式数据库发展趋势

在上午主会场的分享中,巨杉数据库联合创始人王涛,为大家带来了题为“新一代分布式数据库”的分享。

王涛指出,随着金融业务的移动互联网化和智能化,传统数据库已经无法应对数据量大、系统架构僵化及成本过高等诸多问题,与此同时,这些问题的存在也成为推动传统业务向分布式架构转型的驱动力。

同时,在未来微服务化应用开发以及云化平台的趋势下,应用不再以“烟囱式”的中间件加数据库模式进行构建,而是采用数千甚至上万的微服务程序构建成的复杂网状模型。因此,新一代分布式数据库需要能够满足上层应用的弹性扩展、高并发、高吞吐量、与灵活敏捷的需求。而SequoiaDB在这些方面都有着出色的表现,包括:
完整的ACID支持,事务和一致性保证;

SQL的完整支持,传统数据库MySQL/PostgreSQL的语法完全兼容;

分布式与扩展性,应对数据量的变化,实现存储层和计算层的弹性扩展;

多模式访问接口,支持多类型数据管理和多种模式的访问接口;

HTAP交易/分析混合处理能力,复杂业务需求下,实现数据的物理隔离,互不干扰;

多租户物理隔离和权限管理能力;

WLM负载管理能力。

突破桎梏,金融交易场景分布式数据库应用起飞

作为业界原生分布式数据库以及新一代分布式数据库的代表,巨杉数据库跨越了新老两代分布式OLTP 数据库,终坚持自研,走出了具有特色的技术路线。

巨杉数据库应用场景包括核心交易、数据中台、内容管理和实时数据服务等,银行客户已经超过50家,金融行业已形成全维度的市场矩阵。其中,巨杉数据库在银行客户最大单集群规模突破141台物理服务器,单集群管理数据记录超过5440亿条,是目前金融行业应用最广泛、规模最大的的国产新一代分布式数据库产品之一。

其中,在分布式金融级交易场景,目前已巨杉数据库为代表的新一代分布式数据库,已经得到规模应用并且场景日趋成熟。从巨杉数据库的实践来看,交易场景对分布式数据库要求有几个要点:

首先,ACID的支持是必须的。从数据库来看,尽管很多人在鼓吹CAP不可兼得,因此要牺牲一致性,但我们认为这是不可取的。对于大部分公司来说,数据都是核心生命线,绝对不能为了上分布式牺牲数据的一致性和安全性,需要对用户的财产和信息负责。因此,新型面向联机交易的分布式数据库必须对传统ACID有完美的支持,与传统Oracle DB2的数据安全性一致性保持兼容。

第二,SQL完整性。这个主要是从对传统应用的兼容与开发人员能力重用的角度看。一般来说,SQL语法兼容的完整性,以及对已有标准的兼容,例如MySQL、Oracle、DB2、PostgreSQL这种主流协议的兼容性。

而后三个主要从新技术的前瞻性来看。我们都知道,未来是私有云和微服务应用的时代,那么作为分布式数据库,我们不仅仅将其定位成过去某一个数据库的替代。分布式数据库的核心价值在于,能够从数据库的层面以服务资源池的形式,向上层被从烟囱式架构向微服务架构拆散的成百上千个小服务提供数据库访问能力的平台。

在这个定位下,数据库资源池在保证与传统数据库100%兼容的基础上,必须满足分布式弹性扩张,当资源池里面空间和计算能力不够了,需要通过动态增加计算存储节点的方式进行扩容。

其次,多模式。过去的数据库由于仅针对某一个特定应用,采用中间件和数据库一对一绑定的方式,因此只需要提供自身一种模式的访问就够了。但是当我们进行数据库资源池化的时候,上层应用自然面对来自不同开发商、不同业务类型、不同SLA级别的服务,大家采用的开发流程、SQL标准、以及安全策略各不相同,因此分布式数据库必须能够支持多种模式的访问接口。

此外,HTAP,即交易分析混合处理能力。譬如一些账务数据,可能最核心的关键应用来自于联机交易业务实时使用这些数据,但是同时一些后台的实时报表,或者安全审计机构需要进行统计分析的时候,来自不同微服务的业务可能需要对同一份数据同时以交易和分析的方式进行访问。这种情况下,我们能不能在资源池内对交易与分析业务进行物理资源隔离,及时对同一份数据同时访问也可以做到互不干扰。

最后,数据安全是金融级最注重的产品基础能力,分布式数据库应用交易业务,需要具备更严格的高可用,数据安全保障。对于金融交易业务,“两地三中心”和跨数据中心的“多活”是“必修课”。

目前,随着巨杉数据库以及其他分布式数据库技术的不断成熟,未来金融级交易业务应用分布式数据库是大势所趋。

SequoiaDB 3.4 分布式核心交易场景再进化

巨杉数据库还在大会中正式介绍了近期正式发布的 SequoiaDB 3.4 新版本,同时更新和完善了巨杉数据库的工具矩阵和 SequoiaPerf 性能诊断工具。详细介绍我们会在后续报道中进行更多细节的披露。
数据技术正在逐步成为驱动企业进步的核心动力,国产数据库也在国际市场上更受瞩目。自主驱动发展,创新引领未来,巨杉数据库将始终坚持自主研发和技术创新,继续引领新一代分布式数据库不断发展和前进。

原文地址:https://blog.51cto.com/13722387/2451163

时间: 2024-08-02 03:12:53

【巨杉数据库SequoiaDB】点燃深秋,巨杉数据库亮相DTC数据技术嘉年华大会的相关文章

【巨杉数据库SequoiaDB】巨杉数据库 v5.0 Beta版 正式发布

2020年疫情的出现对众多企业运营造成了严重的影响.面对突发状况,巨杉利用长期积累的远程研发协作体系,仍然坚持进行技术创新,按照已有规划--推进研发工作,正式推出了巨杉数据库(SequoiaDB) v5.0 Beta版. 我们也在这里向大家介绍一下,SequoiaDB v5.0 版本中将会包含哪些激动人心的功能和特性. ARM架构的官方支持 从 3.2 版本开始,SequoiaDB 已经在有限版本中支持 ARM 芯片服务器与国产操作系统.从 SequoiaDB v5.0 开始,我们正式官方支持飞

【巨杉数据库SequoiaDB】助力金融科技升级,巨杉数据库闪耀金融展

11月4日,以"科技助创新 开放促改革 发展惠民生"为主题的2019中国国际金融展和深圳国际金融博览会在深圳会展中心盛大开幕. 金融分布式数据库成为关注焦点巨杉数据库作为金融行业广泛应用的自研分布式数据库产品,亮相金融展,成为本次展会金融科技领域的焦点之一.同时,在展会的"金融科技发展趋势研讨会"上,巨杉数据库分享了"自研金融级分布式数据库应用与实践"专题,介绍巨杉数据库8年的自研技术发展历程以及深耕银行8年以来的规模应用场景案例.金融科技是技术

【巨杉数据库SequoiaDB】巨杉?具系列之一 | ?对象存储?具sdblobtool

近期,巨杉数据库正式推出了完整的SequoiaDB 工具包,作为辅助工具,更好地帮助大家使用和运维管理分布式数据库.为此,巨杉技术社区还将持续推出工具系列文章,帮助大家了解巨杉数据库丰富的工具矩阵. 本文作为系列第一篇,将分享巨杉数据库大数据存储工具 sdblobtool 的基本介绍和应用实践.巨杉工具矩阵 一.对象存储与自建存储对比通俗地讲,自建存储就是自己购买服务器设备存储文件,通过运维人员手工进行文件的上传下载.而对象存储,则是使用不同的存储形态来存储文件.目前,对象存储独立的存储形态有三

【巨杉数据库SequoiaDB】巨杉Tech | 四步走,快速诊断数据库集群状态

1.背景 SequoiaDB 巨杉数据库是一款金融级分布式数据库,包括了分布式 NewSQL.分布式文件系统与对象存储.与高性能 NoSQL 三种存储模式,分别对应分布式在线交易.非结构化数据和内容管理.以及海量数据管理和高性能访问场景. 集群一般会使用三副本方式以确保数据安全.假若集群发生因硬件故障等原因导致的节点故障或集群异常,数据库管理员应进行系统的分析和诊断,以确保集群正常工作,不会影响用户的正常使用.本文将与大家分享一下基本的 SequoiaDB 数据库诊断方法. 数据库集群诊断 1)

【巨杉数据库SequoiaDB】巨杉Tech | 巨杉数据库的并发 malloc 实现

本文由巨杉数据库北美实验室资深数据库架构师撰写,主要介绍巨杉数据库的并发malloc实现与架构设计.原文为英文撰写,我们提供了中文译本在英文之后. SequoiaDB Concurrent malloc Implementation Introduction In a C/C++ application, the dynamic memory allocation function malloc(3) can have a significant impact on the applicatio

【巨杉数据库SequoiaDB】为“战疫” 保驾护航,巨杉在行动

2020年,我们经历了一个不平静的新春,在这场大的"战疫"中,巨杉数据库也积极响应号召,勇于承担新一代科技企业的社会担当,用自己的行动助力这场疫情防控阻击战! 赋能"战疫"快速响应 巨杉数据库目前服务许多政府部门应用平台,其中在广州市电子政务中心,就管理了全市近1500万人口的海量医保社保相关数据.医保.社保是抗击疫情工作的"弹药库",也是市民面对疫病的"定心丸". 目前,服务该业务的巨杉数据库集群,在2020年实现系统0错误

【巨杉数据库SequoiaDB】限额开放!巨杉数据库中级工程师认证计划正式开启!

课程背景和规划介绍 巨杉大学的学习和认证包括SCDA(巨杉数据库认证技术专员),SCDP(巨杉数据库中级工程师认证),SCDE(巨杉数据库高级工程师认证),SCDD(巨杉数据库认证开发者)等计划,未来还将持续推出针对行业用户.数据库运维.开发者和开源社区爱好者更多学习计划,共同拓展行业广度和技术深度. 巨杉大学的 SCDP(巨杉数据库中级工程师认证)计划,直接上手操作使用,直观体验分布式数据库功能技术.在线交互学习测试,根据代码验证测试结果,帮助大家快速掌握分布式数据库运维管理. Talk is

对话巨杉核心研发团队:分布式数据库自研之路

一直以来,数据库的核心研发团队都十分神秘,作为隐藏在幕后的隐士高人,他们对数据库发展以及数据库研发团队的看法是什么呢?本文我们就由巨杉数据库核心技术研发团队的"老司机",向大家分享他分布式数据库的自研之路. Q:作为数据库行业的"老司机",您能否先介绍一下自己?A:我叫Danny,是巨杉数据库核心研发团队的成员,是一名数据库资深工程师和架构师,有超过20年的数据库核心研发经验,曾经作为DB2 内核研发团队成员参与了DB2 ,DPF等产品的架构设计和研发工作.目前,我

巨杉Tech | SequoiaDB虚机镜像正式上线

数据库云化架构需求随着云架构的发展和流行,在业务和应用进行"云化"的过程中,云数据库因为在整体架构中的重要地位,在云化改造中的重要性不言而喻.云数据库需要满足这些技术要求,除了在功能上的具体提升,在整体架构上更需要进行升级和"进化". 云数据库架构是其能否承载应用架构"云化"的关键点,随着技术和业务的发展,云数据库的架构出现了几个主要的发展方向:? 在dbPaaS平台中,计算-存储层分离将会成为主流技术方向.通过将协议解析.计算等模块与底层存储解