分布式数据库MVCC读写设计

分布式数据库数据表分成多个parition,分布在不同server上,拓扑是每个server维护不同的版本时间戳,相比单机数据库,提供MVCC要复杂很多,当然,你如果有spanner的原子钟,那会简单很多。

现描述一种可行的实现方案,抛砖引玉。

此方案可以做如下保证:

  • 1.单Partition读(分分布式事务读)可以保重repeated read。
  • 2同一个server上的分布式事务可以保证repeated read,并且对外保证因果序列;
  • 3.跨partition不能保证因果序,但可保证repeated read

数据模型

  • 1.每个server上多个parition,每个是一个MVCC数据结构,即有多个版本的数据
  • 2 每个server上一个publish_id,表示版本小于此值的数据都可以读取到
  • 3 每个server上一个trans_id,表示后续写入的数据的版本都是大于此值

分布式事务写

  • 1在两阶段提交的prepare阶段,参与者发送prepare ack中携带一个版本号,即本地++trans_id的值
  • 2 协调者在收集到的parepare ack中选出时间戳最大的max_ver,发送commit
  • 3 参与者收到此请求后写commit日志,同时使用max_ver更新trans_id
  • 4 commit日志落盘后,修改publish_id,并释放行锁

分布式事务读

由于跨server的分布式读不作任何保证,只讨论同一个server的分布式读,简单来说,就是去publish_id作为版本号,如果目标行上有行锁,且行锁相关的版本号是小于publish_id的,则阻塞等待行锁释放,否则直接读取即可。nweet/stackedit

时间: 2024-10-29 19:05:42

分布式数据库MVCC读写设计的相关文章

分布式数据库选型——数据水平拆分方案

概述 水平拆分的概念随着分布式数据库的推广已为大部分人熟知.分库分表.异构索引.小表广播.这些功能几乎是产品功能需求标配.然而有些客户使用分布式数据库后的体验不尽如意.本文尝试从数据的角度总结分布式数据的复制(replication)和分区(partition)技术原理和方案,其中分区也有称为分片(sharding),希望能引起读者一些思考,在分布式数据库选型中能注意这些细节的区别,选择适合业务的数据水平拆分方案. 分布式数据库架构 分布式数据库以集群形式存在,有多个节点.集群架构有共享磁盘架构

net Core 使用MyCat分布式数据库,实现读写分离

net Core 使用MyCat分布式数据库,实现读写分离 目录索引 [无私分享:ASP.NET CORE 项目实战]目录索引 简介 MyCat2.0版本很快就发布了,关于MyCat的动态和一些问题,大家可以加一下MyCat的官方QQ群:106088787.我们今天主要介绍一下,在我们的Asp.net Core中如何使用Mycat,这源于一个大神(Amamiya Yuuko)的分享,但是,这中间还是有少许的 坑 : 首先,因为大神是比较忙的,而且主要分享关键技术,所以有些地方很简略,而往往这些简

Cassandra 分布式数据库详解,第 2 部分:数据结构与数据读写

Cassandra 的数据存储结构 Cassandra 中的数据主要分为三种: CommitLog:主要记录下客户端提交过来的数据以及操作.这个数据将被持久化到磁盘中,以便数据没有被持久化到磁盘时可以用来恢复. Memtable:用户写的数据在内存中的形式,它的对象结构在后面详细介绍.其实还有另外一种形式是 BinaryMemtable 这个格式目前 Cassandra 并没有使用,这里不再介绍了. SSTable:数据被持久化到磁盘,这又分为 Data.Index 和 Filter 三种数据格

从零开发分布式数据库中间件 一、读写分离的数据库中间件(转)

从零开发分布式数据库中间件 一.读写分离的数据库中间件 .embody { padding: 10px 10px 10px; margin: 0 -20px; border-bottom: solid 1px #ededed } .embody_b { margin: 0; padding: 10px 0 } .embody .embody_t,.embody .embody_c { display: inline-block; margin-right: 10px } .embody_t {

Mycat数据库中间件上手实践及分布式事务和读写分离实现

前言 现在微服务真是火得不行不行的, 最近开始找工作, 打开Boss直聘一看, 乖乖, 整页整页全是要求会整微服务的, 其中不乏很多小微企业, 搞得好像微服务就是万能的似的, 真不知道是中了谁的毒. 微服务肯定是个好东西, 优点很多, 百度一下一大把, 这里我们就不说了, 先讨论讨论微服务必然会带来几个问题. 通信问题, 微服务间是肯定需要通信的, 不能像以前一样调个方法搞定了. 分布式事务问题暨数据一致性问题, 微服务之间DB操作无法放在一个数据库事务中了. 维护问题, 微服务的维护难度必然是

从NoSQL到NewSQL,谈交易型分布式数据库建设要点

在上一篇文章<从架构特点到功能缺陷,重新认识分析型分布式数据库>中,我们完成了对不同"分布式数据库"的横向分析,本文Ivan将讲述拆解的第二部分,会结合NoSQL与NewSQL的差异,从纵向来谈谈OLTP场景"分布式数 据库"实现方案的关键技术要点.本文既是前文的延伸,同时也算是分布式数据库专题文章的一个总纲,其中的要点Ivan之后也会单独撰文阐述. 一.NewSQL & NoSQL NewSQL是本专题关注的重点,也是前文中特指的"分

Atitit.数据库分区的设计&#160;attilax&#160;&#160;总结

Atitit.数据库分区的设计 attilax  总结 1. 分区就是分门别类的文件夹 (what)1 2. 分区的好处(y)1 3. 分区原则(要不要分区,何时分区)how2 4. 主要的分表类型有range,list,hash,key等2 5. 水平分区(Horizontal Partitioning) 垂直分区(Vertical Partitioning)3 6. 分区的操作4 7. 分区理论  并行数据库的体系结构4 8. 参考7 1. 分区就是分门别类的文件夹 (what) 分区的原理

[转载] 360分布式存储系统Bada的设计和应用

原文: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=208931479&idx=1&sn=1dc6ea4fa28a3fb527a6204a9a5c23b1&key=c76941211a49ab5849fe180925fd9816350457f931e54a80feca07c081bffea5828ae0bbb2b1f7be41501db7dea48977&ascene=0&uin=Mjk1ODMy

面向列的分布式数据库Hbase简介

Hbase 是一个面向列的分布式数据库.Hbase不是一个关系型数据库,其设计目标是用来解决关系型数据库在海量数据处理中理论和实现的不足和局限.传统的关系型数据库上世纪七八十年代为交易系统建立 ,以满足数据一致性(ACID)为目标,并没有考虑数据规模扩大时的拓展性,和单点系统失效时的可靠性.虽然经过技术的发展,实现了对关系数据库的弥补(并行数据库),但由于理论和实现的约束,拓展从来没超过40个节点的服务器.而Hbase从一开始就为TB和PB级别的海量数据的高速存储而设计,这要求数据能够被分配在数