分布式事务处理方案,微服事务处理方案

微服事务处理方案(分布式事务处理方案)

1. 什么是事务
由一组操作构成的可靠、 独立的工作单元。
事务具有以下特点:
?Atomicity(原子性)
?Consistency(一致性)
?Isolation(隔离性)
?Durability(持久性)

2.事务的一致性
单体应用可以在数据库的事物管理器中获得强一致性,这种本地事物可靠简单。
而在微服或者SOA的场景下,我们的本地事物就不作用了。对于分布式系统 Google 提出 CAP定理 ,
分布式的事物只能同时拥有以下三项中的两个:
?Consistency(一致性): 所有 用户看到一致的数据。
?Availability(可用性): 总能找 到一个可用的数据复本。
?Tolerance to Network Partition(分区容忍性): 即使 在系统被分区的情况下,仍然满足上述两点。

分布式系统的事物无法做到强一致性,只能做到最终一致性。

3.常见分布式事物的处理方案

  • 2pc 两段提交方案
  • 3pc 三段提交方案,是两段提交方案的进化。
  • TCC 模式 try ,confirm ,cancel。
  • 可靠消息机制 ,可靠消息分为 非事物消息 和 事物消息。

事物消息,简单的说就是消息投递成功,你本地的数据库事物肯定提交成功,消息投递失败你本地事物也肯定提交失败。相当于你投递消息和操作数据库是绑定在一起的,两者是在同一个事物中。

非事物消息,简单的说就是消息投递成功,本地数据库事物不一定执行成功。

而现有的开源的MQ框架 大多数是不支持 事物消息的,也没有和本地事物进行配合。
RocketMQ 好像实现了这个事物消息功能,有兴趣的同学可以去看看。

可靠消息机制保证数据一致性的解决方案(非事物消息)

先来看个案例:
假设我有一个 文章微服 负责发布文章,查询文章列表等,还有一个 用户微服 保持用户的一些基本信息,如:用户发文章的篇数等。

现在发文章在 文章微服,而用户的发文篇数在 用户微服。这种情况下我们怎么保证 发文的计数 不会多也不会少,保证其的一致性的呢?

大家先来看一段代码:
假设这是 文章微服 发文代码:

@Transactional
    public void saveArticle(Article article){
        try{
            //保存文章
            articleDao.saveArticle(article);
            MqEvent saveArticleEvent = new MqEvent();
            //消息ID
            saveArticleEvent.setMsgId(UUIDUtil.mongoObjectId());
            //发送保存文章 事件个用户服务
            sender.sendAddArticleMqEvent(saveArticleEvent);
        }catch (Exception e){
            //抛异常 让事务回滚
            throw new RuntimeException();
        }
    }
}

看起来很正常呀!没有什么问题! 我们来列举一下可能会出现的情况;

  1. 保存文章正常,MQ发送也正常,好万事大吉,数据都正常。
  2. 保存文章正常,MQ发送失败,抛异常。这时数据回滚,虽然出了点问题 但是数据正常。这也没问题。
  3. 文章保存失败,这时肯定抛异常,MQ发送走不到,这时也是正常的。
  4. 文章保存成功,MQ发送成功,这时会不会有问题出现呢? 刚刚我们说了 我们的MQ是非事物性的,恰巧这个时候 MQ 回执异常导致 MQ抛异常了。本地事物回滚,但是MQ虽然抛异常,消息却发成功了。这时候 会导致 用户发文计数多了一篇,数据不一致了导致。

虽然这种做法看起来没有什么问题,但其实是有问题的。

为了解决这个问题,我们需要 增加一个本地事件表,专门存放 MQ事件 ,有定时器轮训去发送MQ消息,发送成功后做标记,或者删除。很多MQ都会有 消息回执的。当成功投递到消息队列是 就会得到回执。

于是我们的代码应该改成这样:

  @Transactional
    public void saveArticle(Article article) {
        articleDao.saveArticle(article);
        MqEvent saveArticleEvent = new MqEvent();
        //消息ID
        saveArticleEvent.setMsgId(UUIDUtil.mongoObjectId());
        // 保存事件到事件表
        mqEventDao.addMQEvent(saveArticleEvent);
    }

这样在本地事物的强一致性下可以保证,发文的同事插入发文事件。

说说 用户微服那边的处理 , 用户微服也应该有一个这样的事件表,保存接收的事件,通过轮训等方式处理这些事件,只有成功的接收了事件,事件才能从MQ队列里面消失。MQ在消费消息的时候如果遇到异常会重新将消失重新发回到队列中,很多MQ具有这个特性。

细心的同学可能会想到我同一个事件消息投递了两次怎么办?这就涉及幂等性的设计了,看到上面的消息ID没? 这就是为幂等性设计的 唯一ID;当用户微服收到两个消息ID是一样的时候,丢弃掉一个。

总结

我们的微服系统 只要涉及 增 删 改 的操作都应该通过可靠事件进行操作,而不能直接通过 REST 接口,去操作,也不能直接的发送事件去操作。对于消防端,要做好幂等性的处理。可靠事件处理微服的事物算是比较靠谱的做法,2pc,3pc ,Tcc 在微服事物处理这一块,基本上起不了什么作用。
本人的理解大概是这样,欢迎大家提出疑问。

原文地址:https://blog.51cto.com/14230003/2388825

时间: 2024-07-31 06:50:48

分布式事务处理方案,微服事务处理方案的相关文章

JEESZ分布式框架--单点登录集成方案

  JEESZ分布式框架单点登录集成方案第一节:单点登录简介 第一步:了解单点登录SSO主要特点是: SSO应用之间使用Web协议(如HTTPS) ,并且只有一个登录入口.SSO的体系中有下面三种角色:1) User(多个)2) Web应用(多个)3) SSO认证中心(一个) SSO实现包含以下三个原则:1) 所有的登录都在 SSO 认证中心进行.  2) SSO认证中心通过一些方法来告诉Web应用当前访问用户究竟是不是通过认证的用户.  3) SSO认证中心和所有的 Web 应用建立一种信任关

分布式服务器集群架构方案思考

nginx-reverse-proxy-conf 研究了一套完整的分布式服务器集群架构方案. 0x01.大型网站演化 简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率. 集群主要分为:高可用集群(High Availability Cluster),负载均衡集群(Load Balance Cluster,nginx即可实现),科学计算集群(High Performance Computing Cluster). 分布式是指将不同的业务分布在

搞懂分布式技术16:浅谈分布式锁的几种方案

搞懂分布式技术16:浅谈分布式锁的几种方案 前言 随着互联网技术的不断发展,数据量的不断增加,业务逻辑日趋复杂,在这种背景下,传统的集中式系统已经无法满足我们的业务需求,分布式系统被应用在更多的场景,而在分布式系统中访问共享资源就需要一种互斥机制,来防止彼此之间的互相干扰,以保证一致性,在这种情况下,我们就需要用到分布式锁. 分布式一致性问题 首先我们先来看一个小例子: 假设某商城有一个商品库存剩10个,用户A想要买6个,用户B想要买5个,在理想状态下,用户A先买走了6了,库存减少6个还剩4个,

对比传统的Xilinx AMP方案和OPENAMP方案-xapp1078和ug1186

xapp1078创建于2013年2月.文章描述了启动运行两个内核的方法,两个cpu内核分别运行linux和bare-metal.已经过去四年,所以称其为传统的AMP方案. 该方案的关键过程: (1)修改FSBL源码,使其能够load多个elf和bit文件,直到遇到标志Load地址后停止load,返回运行u-boot. (2)通过配置文件image.bif将core0的u-boot.elf和core1的bare-metal.elf文件还有用于load停止的dummy bin文件都包含进来,然后运行

分布式机器学习的集群方案介绍之HPC实现

机器学习的基本概念 机器学习方法是计算机利用已有的数据(经验),得出了某种模型(迟到的规律),并利用此模型预测未来(是否迟到)的一种方法.目前机器学习广泛应用于广告投放.趋势预测.图像识别.语音识别.自动驾驶和产品推荐等众多领域. 在确定了问题模型之后,根据已知数据寻找模型参数的过程就是训练,训练过程就是不断依据训练数据来调整参数的迭代,从而使依据模型作出的预测结果更加准确. HPC的基本概念 HPC就是高性能计算或高性能计算集群的简写.为了追求高性能,HPC的工作负载一般直接运行在Linux系

一个分布式服务器集群架构方案

http://homeway.me/ 0x01.大型网站演化 简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率. 集群主要分为:高可用集群(High Availability Cluster),负载均衡集群(Load Balance Cluster,nginx即可实现),科学计算集群(High Performance Computing Cluster). 分布式是指将不同的业务分布在不同的地方:而集群指的是将几台服务器集中在一起,实现同一

分布式事务最终一致性常用方案

目前的应用系统,不管是企业级应用还是互联网应用,最终数据的一致性是每个应用系统都要面临的问题,随着分布式的逐渐普及,数据一致性更加艰难,但是也很难有银弹的解决方案,也并不是引入特定的中间件或者特定的开源框架能够解决的,更多的还是看业务场景,根据场景来给出解决方案.根据笔者最近几年的了解,总结了几个点,更多的应用系统在编码的时候,更加关注数据的一致性,这样系统才是健壮的. 一.基础理论 目前关于事务的几大理论包括:ACID事务特性,CAP分布式理论,以及BASE等.ACID在数据库事务中体现,CA

为什么分布式一定要有一致性方案?

0 引言为什么写这篇文章? 首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用.在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作.但是在更新缓存方面,对于更新完数据库,是更新缓存呢,还是删除缓存.又或者是先删除缓存,再更新数据库,其实大家存在很大的争议.目前没有一篇全面的博客,对这几种方案进行解析.于是博主战战兢兢,顶着被大家喷的风险,写了这篇文章. 1 正文先做一个说明,从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案.这种方案下,我们可以对存入缓存的数据设

JEESZ分布式框架单点登录集成方案

第一节:单点登录简介 第一步:了解单点登录 SSO主要特点是: SSO应用之间使用Web协议(如HTTPS) ,并且只有一个登录入口. SSO的体系中有下面三种角色: 1) User(多个) 2) Web应用(多个) 3) SSO认证中心(一个) SSO实现包含以下三个原则: 1) 所有的登录都在 SSO 认证中心进行. 2) SSO认证中心通过一些方法来告诉Web应用当前访问用户究竟是不是通过认证的用户. 3) SSO认证中心和所有的 Web 应用建立一种信任关系. CAS的基本原理CAS(C