企业级分布式 HTAP 数据库管理系统 TBase

TBase 是腾讯数据平台团队在开源的 PostgreSQL 基础上研发的企业级分布式 HTAP 数据库管理系统:

  • 具备高性能可扩展的分布式事务能力,支持 RC 和 RR 两种隔离级别;
  • 通过安全、管理、审计三权分立体系,提供全方位的数据安全保证机制;
  • 支持高性能分区表,可使得数据检索效率成倍提升;
  • SQL 方面兼容 2003 标准、PostgreSQL 语法和常用 Oracle 函数&数据类型、窗口函数等;
  • 提供大小商户数据分离、冷热数据分离等高效的数据治理能力

TBase 架构:

集群中有三种节点类型,各自承担不同的功能,通过网络连接成为一个系统。这三种节点类型分别是:

  • Coordinator:协调节点,对外提供接口,负责数据的分发和查询规划,多个节点位置对等,每个节点都提供相同的数据库视图,CN 存储系统的全局元数据。
  • Datanode:处理存储本节点相关的元数据,每个节点还存储数据的一个分片。在功能上,DN 节点负责完成执行协调节点分发的执行请求。
  • GTM: 全局事务管理器(Global transaction manager.),负责管理集群事务信息,同时管理集群的全局对象,比如序列,除此之外 GTM 上不提供其他的功能。

TBase 功能介绍:

  • 分布式事务全局一致性能力:通过拥有自主专利的分布式事务一致性技术,包括两阶段提交(Two Phase Commit)以及全局时钟(Global Timestamp)的策略来保证在全分布式环境下的事务一致性。
  • SQL兼容能力:SQL2003 标准、PostgreSQL 语法、常用 Oracle 函数&数据类型、UDF/UDAF、常见窗口函数、JSON/JSONB/XML/数组等多种 NoSQL 类型 、递归 WITH、无锁 DDL 操作、扩展插件等。
  • HTAP能力:提供 OLTP 以及 OLAP 两个平面视角 ,OLTP 业务运行在 datanode 主节点上,OLAP 业务运行在 datanode 节点的备节点上,揭秘提升网站权重二者的数据同步采用流复制的方式来进行。
  • 读写分离能力:提供了读写和只读两个平面视角,读写流量请求由主节点来处理,只读流量请求由备节点来处理,主备节点的数据同步采用流复制的方式来进行。
  • 卓越的数据安全保障能力:通过三权分立的体系,将传统数据库系统 DBA 的角色分解为三个相互独立的角色:安全管理员、审计管理员、数据管理员;基于此提出安全策略,主要细分为三个部分:数据加密、数据脱敏访问、强制访问控制,三者组合提供多个层级的数据安全保障能力。

  • 高效的数据治理能力:数据倾斜治理,用以解决数据分布不均带来的存储以及性能压力;冷热数据分级存储 ,用以降低业务的存储成本、提升热数据的性能。
  • 多核并行计算能力:节点内部采用了并行计算,根据表大小同时启动多个进程来协同完成一个查询。
  • 多租户能力:基于节点组 node group 的集群内多租户解决方案,做到数据库集群内部的业务和资源隔离,多个业务在TBase内部相互隔离的运行。
  • 多级容灾能力:采用强同步复制来保证主从数据完全一致,保障主节点故障时数据无丢失;提供基于任意时间点的恢复特性来防止误操作带来的数据丢失。
  • 在线扩容能力:通过引入shard map层(shard map 中每一项存储 shardid 和 DN 的 映射关系 ), 在新加节点时,只需要把一些 shard map 中的 shardid 映射到新加的节点,并把对应的数据搬迁过去就可以了,大大缩短扩容时间。
  • 丰富的周边生态能力:PostGIS、异构数据复制、LVS 负载均衡、FDW 联邦能力等。

TBase 适用场景:

  • 在国产化落地、业务核心领域去 O 场景;
  • 对 HTAP 混合事务分析应用模型有需要的业务场景;
  • 对物联网地理信息系统有需求的业务场景;
  • 对实时高并发环境下的分布式事务强一致性有要求的业务(如金融、证券等业务)场景;
  • 对企业级数据安全、审计、治理应用相关功能有需求的业务场景;
  • 对高可用、异地容灾、7*24 小时服务能力有需求的业务场景;
  • 有海量存储计算需求、弹性扩容、在线扩容需求的业务场景;
  • 对异构数据互通共享有需求的业务场景。

原文地址:https://www.cnblogs.com/1994jinnan/p/11886468.html

时间: 2024-10-17 04:30:45

企业级分布式 HTAP 数据库管理系统 TBase的相关文章

第18章 使用MariaDB数据库管理系统

章节概述: MYSQL数据库管理系统被Oracle公司收购后从开源换向到了封闭,导致包括红帽在内的许多Linux发行版选择了MariaDB. 本章节将教会您使用mariaDB数据库管理工具来管理数据库,学习对数据表单的新建.搜索.更新.插入.删除等常用操作. 并且熟练掌握对数据库内用户的创建与授权,数据库的备份与恢复方法,不仅满足了RHCE考题要求,还能帮助您的运维工作. 本章目录结构 18.1 数据库管理系统 18.2 初始化mariaDB服务程序 18.3 管理数据库与表单数据 18.3.1

《Zabbix企业级分布式监控系统》预售

<Zabbix企业级分布式监控系统>预售 一.预售网站链接如下 网站名称 链接 亚马逊 http://www.amazon.cn/3/dp/B00MN6QEYK 当当 京东 二.书籍封面如下 三.该书相关信息如下 本书的读者QQ群: Zabbix企业级分布式监控 271659981 (可申请加入,验证码:Zabbix监控) 四.随书资料 随书所带的附件托管在github上面,完全开源. https://github.com/itnihao/zabbix-book 五.书籍目录如下 第一部分Za

分布式高级数据库(怀念一下我得了及格的高级数据库)

高级数据库技术 (一)引言 数据库系统的发展起始于19世纪60年代,从IBM的层次模型IMS.网状模型.关系模型,发展到多数模型共存的(同构和异构及其混合的形式共存的现状).尤其是三位在数据库领域获得图灵奖的得主,查尔斯.巴赫曼,埃德加.科德和詹姆斯.格雷三人所对于数据库发展的贡献.尤其是科德在1970年发表的"大型共享数据库的关系数据模型"奠定了关系型数据库的基础.随着科学技术的发展,各个行业的需求对于数据库的要求产生了巨大的推动力,使得数据库和分布式技术.并行计算技术.人工智能等进

MySQL(关系型数据库管理系统)

MySQL 关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品.MySQL 是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件. MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性. MySQL所使用的 SQL 语言是用于访问数据库的

Zabbix企业级分布式监控系统最佳实践

[下载地址:https://pan.baidu.com/s/1VXBV7C3ULcwbdRtCbQ0xoQ ] <Zabbix企业级分布式监控系统>从运维(OPS)角度对Zabbix的各项功能进行了详细介绍,以自动化运维视角为出发点,对Zabbix的安装配置.自动化功能.监控告警.性能调优.Zabbix API.Zabbix协议.RPM安装包定制,结合saltstack实现自动化配置管理等内容进行了全方位的深入剖析.<Zabbix企业级分布式监控系统>分为初级内容.中级内容.高级内

选择数据库管理系统(DBMS)时主要考虑的因素

选择数据库管理系统时应从以下几个方面予以考虑: (1) 构造数据库的难易程度. 需要分析数据库管理系统有没有范式的要求,即是否必须按照系统所规定的数据模型分析现实世界,建立相应的模型:数据库管理语句是否符合国际标准,符合国际标准则便于系统的维护.开发.移植:有没有面向用户的易用的开发工具:所支持的数据库容量,数据库的容量特性决定了数据库管理系统的使用范围. (2) 程序开发的难易程度. 有无计算机辅助软件工程工具CASE——计算机辅助软件工程工具可以帮助开发者根据软件工程的方法提供各开发阶段的维

分布式云数据库

具有隐私保护的分布式云数据库中聚合查询的多阶段协议 https://www.sciencedirect.com/science/article/pii/S0167739X18306514?via%3Dihub 使用对象关系映射在混合云基础架构中创建分布式数据库 云服务的使用面临的挑战之一是数据管理系统的设计这对于数据位于公共和私有云中的混合系统尤其重要实现监控功能查询.调度和处理软件必须正确实现,是系统的组成部分为了提供这些功能,建议使用对象关系映射(ORM)本文致力于介绍为托管在混合云基础设施

保姆级教程!手把手教你使用Longhorn管理云原生分布式SQL数据库!

作者简介 Jimmy Guerrero,在开发者关系团队和开源社区拥有20多年的经验.他目前领导YugabyteDB的社区和市场团队. 本文来自Rancher Labs Longhorn是Kubernetes的云原生分布式块存储,易于部署和升级,100%开源且持久,由业界采用最为广泛的Kubernetes管理平台创建者Rancher Labs推出,并于去年10月捐献给CNCF.Longhorn的内置增量快照和备份功能可确保volume数据的安全,而其直观的UI可以方便地管理持久卷的计划备份.使用

mySQL (关系型数据库管理系统)

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品.MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件. MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性. MySQL所使用的 SQL 语言是用于访问