分布式事务最终一致性常用方案

目前的应用系统,不管是企业级应用还是互联网应用,最终数据的一致性是每个应用系统都要面临的问题,随着分布式的逐渐普及,数据一致性更加艰难,但是也很难有银弹的解决方案,也并不是引入特定的中间件或者特定的开源框架能够解决的,更多的还是看业务场景,根据场景来给出解决方案。根据笔者最近几年的了解,总结了几个点,更多的应用系统在编码的时候,更加关注数据的一致性,这样系统才是健壮的。

一、基础理论

目前关于事务的几大理论包括:ACID事务特性,CAP分布式理论,以及BASE等。ACID在数据库事务中体现CAP和BASE则是分布式事务的理论,结合业务系统,例如订单管理,例如仓储管理等,可以借鉴这些理论,从而解决问题。

1、ACID 特性

2、CAP特性

  • C(一致性)一致性是指数据的原子性,在经典的数据库中通过事务来保障,事务完成时,无论成功或回滚,数据都会处于一致的状态,在分布式环境下,一致性是指多个节点数据是否一致;
  • A(可用性)服务一直保持可用的状态,当用户发出一个请求,服务能在一定的时间内返回结果;
  • P(分区容忍性)在分布式应用中,可能因为一些分布式的原因导致系统无法运转,好的分区容忍性,使应用虽然是一个分布式系统,但是好像一个可以正常运转的整体

3、BASE特性

  • BA: Basic Availability 基本业务可用性;
  • S: Soft state 柔性状态;
  • E: Eventual consistency 最终一致性;

二、最终一致性的常用做法

1、单数据库事务

如果应用系统是单一的数据库,那么这个很好保证,利用数据库的事务特性来满足事务的一致性,这时候的一致性是强一致性的。对于java应用系统来讲,很少直接通过事务的start和commit以及rollback来硬编码,大多通过spring的事务模板或者声明式事务来保证;

2、多数据库事务

针对多数据库事务可以根据二阶段提交协议,采用spring 3.0 + Atomikos + JTA进行支持;

3、基于事务型消息队列的最终一致性

借助消息队列,在处理业务逻辑的地方发送消息,业务逻辑处理成功后,提交消息,确保消息是发送成功的,之后消息队列投递来进行处理,如果成功,则结束,如果没有成功,则重试,直到成功,不过仅仅适用业务逻辑中,第一阶段成功,第二阶段必须成功的场景。对应上图中的C流程。

4、基于消息队列+定时补偿机制的最终一致性

前面部分和上面基于事务型消息的队列,不同的是,第二阶段重试的地方,不再是消息中间件自身的重试逻辑了,而是单独的补偿任务机制。其实在大多数的逻辑中,第二阶段失败的概率比较小,所以单独独立补偿任务表出来,可以更加清晰,能够比较明确的直到当前多少任务是失败的。对应上图的E流程。

5、异步回调机制的引入

A应用调用B,在同步调用的返回结果中,B返回成功给到A,一般情况下,这时候就结束了,其实在99.99%的情况是没问题的,但是有时候为了确保100%,记住最起码在系统设计中100%,这时候B系统再回调A一下,告诉A,你调用我的逻辑,确实成功了。其实这个逻辑,非常类似TCP协议中的三次握手。上图中的B流程。

6、类似double check机制的确认机制

还是上图中异步回调的过程,A在同步调用B,B返回成功了。这次调用结束了,但是A为了确保,在过一段时间,这个时间可以是几秒,也可以是每天定时处理,再调用B一次,查询一下之前的那次调用是否成功。例如A调用B更新订单状态,这时候成功了,延迟几秒后,A查询B,确认一下状态是否是自己刚刚期望的。上图中的D流程。

三、分布式事务的缺点

1、二阶段提交协议缺点

两阶段提交涉及到多个节点的网络通信,通信时间如果过长,事务的相对时间也就会过长,那么锁定资源的时间也就长了.在高并发的服务中,就会存在严重的性能瓶劲

2、消息队列

在高并发的环境中,我们一般会采用消息队列来避免分布式事务的执行。

在使用消息队列时,我们需要做到可靠凭证的保存(分布式事务的消息),有如下几种方式:

以支付宝和余额宝为例进行说明.

支付宝完成扣钱的动作时,记录消息数据,将消息数据和业务数据存在同一个数据库实例中.

Begin Transaction
  update A set amount=amount-1000 where uid=100;
  insert into message(uid,amount,status) values (1,1000,1)
End Transaction
Commit;

将支付宝完成扣钱的消息及时发送给余额宝,余额宝完成处理后返回成功消息,支付宝收到消息后,消除消息表中对应的消息记录,即完成本次扣钱操作.

传统方式是,我做完了,发你消息。解决一致性的方案的意思就是,我先发你消息,我做完了再跟你确认我做完了。这是改进后的有事务的消息中间件。

参见:http://coolshell.cn/articles/10910.html

时间: 2024-11-20 16:53:22

分布式事务最终一致性常用方案的相关文章

一文教你迅速解决分布式事务 XA 一致性问题

欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:腾讯云数据库团队 近日,腾讯云发布了分布式数据库解决方案(DCDB),其最明显的特性之一就是提供了高于开源分布式事务XA的性能.大型业务系统有着用户多.并发高的特点,在这方面,集中式数据库(单机数据库)的性能很难支持,因此主流的互联网公司往往采用分布式(架构)数据库,物理上利用更多的低端设备,逻辑上对大表水平拆分支撑业务的需要. 虽然分布式数据库能解决性能难题,但事务一致性(Consistency)的问题,却很难在分布式数据库上

分布式事务最终一致看这篇“大白话”的实践

我们都知道微服务现在很火热,那么我们将业务才开后随之而来的数据一致性问题也很棘手,这篇博客我将阐述一下我是如何通过实践加理论来完成最终一致的高可用并且讲述一下dotnetcore下的cap是如何实现的,话不多说直接上问题. 1我们在编写代码的时候是否有过如下经历的转变: //原先的业务 begin tran update table set column=x where id = y; update table2 set column = x where id = y; commit //进化后

MQ关于实现最终一致性分布式事务原理解析

本文讲述阿里云官方文档中关于通过MQ实现分布式事务最终一致性原理 概念介绍 事务消息:消息队列 MQ 提供类似 X/Open XA 的分布式事务功能,通过消息队列 MQ 事务消息能达到分布式事务的最终一致. 半事务消息:暂不能投递的消息,发送方已经成功地将消息发送到了消息队列 MQ 服务端,但是服务端未收到生产者对该消息的二次确认,此时该消息被标记成“暂不能投递”状态,处于该种状态下的消息即半事务消息. 消息回查:由于网络闪断.生产者应用重启等原因,导致某条事务消息的二次确认丢失,消息队列 MQ

明白了,原来分布式事务一致性可以这样搞

1.分布式事务问题的产生 何为事务? 所谓事务,大多数开发人员对事务并不陌生,它是由中间件提供的一种特有的机制.这种机制可以将一个活动所涉及的全部操作当做一个不可分割的执行单元,只有这个执行单元的所有操作均能正常执行的情况下才提交事物:否则,只要其中任一一个操作执行失败,都将导致整个执行单元回滚.现在的关系型数据库.部分消息中间件都具备这样的事务处理能力. 事务特性有哪些? Atomicity--原子性,是说事务中的所有操作的结果,要么全部成功,要么全部失败,不会存在中间状态.事务在执行过程中如

RabbitMQ解决分布式事务

案例:经典案例,以目前流行点外卖的案例,用户下单后,调用订单服务,让后订单服务调用派单系统通知送外卖人员送单,这时候订单系统与派单系统采用MQ异步通讯. RabbitMQ解决分布式事务原理: 采用最终一致性原理.需要保证以下三要素1.确认生产者一定要将数据投递到MQ服务器中(采用MQ消息确认机制)2.MQ消费者消息能够正确消费消息,采用手动ACK模式,使用不补偿机制(注意重试幂等性问题)3.如何保证第一个事务先执行,采用补偿机制(补单机制),在创建一个补单消费者进行监听,如果订单没有创建成功,进

帐务处理最终一致性方案

随着交易量逐步上升,业务越来越复杂,在设计整个帐务处理中考虑最终一致性的方案. 整个方案大概流程可以分为: 在业务完成后同步记录资金变动流水 有的业务场景需要实时处理的账务,则同步发出账务处理的异步消息 通过定时任务每分钟查询需要进行更新帐务的流水记录 启动线程池对每笔流水记录进行帐务更新 在大量数据需要更新的情况下,由于对于处理账务要求非常严格,所以在整个执行过程中需要引入很多技术手段才能达到快速并且正确记账. 和业务执行一起生成最关键的资金变动流水,需要和其他业务绑定在一个事务中,由于这是账

分布式服务化系统一致性的“最佳实干”

1 背景 一致性是一个抽象的.具有多重含义的计算机术语,在不同应用场景下,有不同的定义和含义.在传统的IT时代,一致性通常指强一致性,强一致性通常体现在你中有我.我中有你.浑然一体:而在互联网时代,一致性的含义远远超出了它原有的含义,在我们讨论互联网时代的一致性之前,我们先了解一下互联网时代的特点,互联网时代信息量巨大.需要计算能力巨大,不但对用户响应速度要求快,而且吞吐量指标也要向外扩展(既:水平伸缩),于是单节点的服务器无法满足需求,服务节点开始池化,想想那个经典的故事,一只筷子一折就断,一

分布式事务「2020年」必学,升职加薪你准备好了吗?

你是否学习了微服务架构Spring Cloud.Dubbo,但是分布式事务却没有了解过? 你是否尝试学习了分布式的概念,但是学习完却还不知所以然,一头雾水? 你是否尝试使用了TXLCN.Fescar/Seata,但是却不知道它们的原理? ? 你不努力让自己过上想要的生活, 以后就会用大把的时间去应付自己不想要的生活. 记得几年前 ,那时候微服务Spring Cloud也刚出来没多久,我有幸,在早期就了解了Spring Cloud,学习了Spring Cloud中的各个组件:注册中心Eureka.

深入理解分布式事务

本文由码农网 – 吴极心原创,转载请看清文末的转载要求,欢迎参与我们的付费投稿计划! 我在上一期介绍了spring的事务原理(详情见<深入理解spring事务原理>),spring事务本质是单机下的事务,是由数据库本身保证的.今天,我将介绍一种比较复杂的事务:分布式事务. 1.什么是分布式事务 分布式事务就是指事务的参与者.支持事务的服务器.资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上.以上是百度百科的解释,简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同