缓存实战方案分布式常见问题解决方案

大白话讲解分布式缓存并发冲突问题及其解决方案:zk分布式锁

一、背景介绍

如果您更喜欢看视频教程,可以看本头条号发布的视频教程,绝对大白话,手把手带你体验整个冲突的演示过程及解决方案:两种方式,随机挑选 缓存架构之实战演练基于zk分布式锁解决分布式缓存并发冲突问题

1、源架构:

2、分布式缓存并发冲突问题

二、项目整合

1、广告服务系统

**功能:**为媒体提供广告的源头服务

  • 从本地缓存中获取广告
  • 从redis缓存中获取广告
  • 从db获取广告,并更新到redis缓存

2、 缓存服务系统

  • 消息监听,实时增量更新redis缓存
  • 定时全量更新redis缓存

3、广告管理系统

  • 广告的增删改查
  • 发送广告更改的mq消息

三、rabbitmq消息重复解决方案

1、是什么造成了消息的重复呢?

生产者在使用publisher confirm机制的时候,发送完一条消息等待RabbitMQ返回确认通知,此时网络断开,生产者捕获到异常情况,为了确保消息可靠性,选择重新发送,这样RabbitMQ中就有两条同样的消息。这样,在消费者消费的时候,就会重复消费,尤其是在交易系统/充值系统/银行转账系统……中,这问题就大了。

2、解决方案

这里进介绍下思路,简单说下处理方案,后面我们将分布式事务的时候,再详细介绍可靠性这一块

  • 生产者对于发的每条消息,都带一个唯一UUID
  • 消费者通过这个UUID来校验消息的重复性 唯一UUID:
    • 生产者:两次发送的key必须一致(所以发送前,这个key必须持久化)
    • 唯一key可以存储到分布式缓存中,如:redis,可以设置个缓存时间
public class AdMessage {

    /**
     * 操作类型:1为新增,2是修改
     */
    private int operation;

    /**
     * 主键字段,值为具体的ID值
     */
    private Long id;

    /**
     * 消息的唯一key:用于消息去重
     */
    private String uuidKey;

    /**
     * 广告信息:
     */
    private String content;
}

四、实战演练基于zk分布式锁解决分布式缓存并发冲突问题

代码下载地址:https://gitee.com/jikeh/JiKeHCN-RELEASE.git

项目名: 广告服务系统:spring-boot-ad-service 缓存服务系统:spring-boot-cache 广告管理系统:spring-boot-ad

1、zk分布式锁

  • 原生zookeeper实现分布式锁
  • 使用curator框架实现zookeeper分布式锁

2、广告服务系统应用zk分布式锁

3、广告缓存系统应用zk分布式锁

4、实战演练

1)模拟并发冲突场景

原文地址:https://www.cnblogs.com/java188/p/12123658.html

时间: 2024-10-10 04:12:31

缓存实战方案分布式常见问题解决方案的相关文章

大数据高并发系统架构实战方案

大数据高并发系统架构实战方案(LVS负载均衡.Nginx.共享存储.海量数据.队列缓存 ) 随着互联网的发展,高并发.大数据量的网站要求越来越高.而这些高要求都是基础的技术和细节组合而成的.本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练.通过该课程的学习,普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台,课程涉及内容包括:LVS实现负载均衡.Nginx高级配置实战.共享存储实现动态内容静态化加速实战.缓存平台安装配置使用.mysql主从复制安装配置实战等.课程二十.

java微服务架构的分布式事务解决方案

java微服务架构的分布式事务解决方案 课程目录如下: 1.课程介绍20分钟2.解决方案的效果演示(结合支付系统真实应用场景)45分钟3.常用的分布式事务解决方案介绍47分钟4.消息发送一致性(可靠消息的前提保障)20分钟5.消息发送一致性的异常流程处理16分钟6.常规MQ队列消息的处理流程和特点12分钟7.消息重复发送问题及业务接口的幂等性设计18分钟8.可靠消息最终一致性方案1(本地消息服务)的设计19分钟9.可靠消息最终一致性方案2(独立消息服务)的设计24分钟10.可靠消息服务的设计与实

分布式事务解决方案---阅读--篇1--关于分布式系统的数据一致性问题

self: 这篇文章逻辑不算很清晰,但讲到的点还算是比较好的.自己总结一下可以做不错的参考: 1. 这边文章主要讲了两个方面,一方面是MQ的消息可靠性问题,另一方面是MQ可以被利用来做补偿机制的最终一致性分布式事务解决方案. 2. 关于MQ消息的问题大致有下面三个 2.1 如何保证A->M的消息,M一定接收到了,同样,如何保证M->A的消息,M一定接收到了 2.2 如果数据需要一致性更新,比如A发送了三条消息给M,M要么全部保存,要么全部不保存,不能够只保存其中的几条记录.我们假设更新的数据是

分布式事务解决方案——柔性事务与服务模式

在分布式系统中,是无法使用本地事务保证数据的一致性的.一种标准的分布式事务就是全局事务(DTP模型).他是基于2PC来控制的.但是由于2PC自身就存在同步阻塞的问题,这也就导致全局事务效率很低.所以,这种全局事务并不适合解决大型网站的分布式事务问题. 柔性事务在业内,主要用来解决分布式事务的方案是使用柔性事务.所谓柔性事务,相比较与数据库事务中的ACID这种刚性事务来说,柔性事务保证的事"基本可用,最终一致."这其实就是基于BASE理论,保证数据的最终一致性. 虽然柔性事务并不像刚性事

分布式ID解决方案

开发十年,就只剩下这套Java开发体系了 >>>    在游戏开发中,我们使用分布式ID.有很多优点 便于合服 便于ID管理 等等 一.单服各自ID系统的弊端 1. 列如合服 在游戏上线后,合服是避免不了的事情.如果按照传统的数据库表自增来作为数据的唯一ID.或者每个游戏中是相同的自增.这样在合服的时候你就会相当的麻烦了. 比如上图我们要把GameServer_2的数据合并到GameServer_1中,它们都有一个Player ID = 1的玩家,这个时候你就必须要重建GameServe

搞懂分布式技术11:分布式session解决方案与一致性hash

搞懂分布式技术11:分布式session解决方案与一致性hash session一致性架构设计实践 原创: 58沈剑 架构师之路 2017-05-18 一.缘起 什么是session? 服务器为每个用户创建一个会话,存储用户的相关信息,以便多次请求能够定位到同一个上下文. Web开发中,web-server可以自动为同一个浏览器的访问用户自动创建session,提供数据存储功能.最常见的,会把用户的登录信息.用户信息存储在session中,以保持登录状态. 什么是session一致性问题? 只要

常用的分布式事务解决方案

众所周知,数据库能实现本地事务,也就是在同一个数据库中,你可以允许一组操作要么全都正确执行,要么全都不执行.这里特别强调了本地事务,也就是目前的数据库只能支持同一个数据库中的事务.但现在的系统往往采用微服务架构,业务系统拥有独立的数据库,因此就出现了跨多个数据库的事务需求,这种事务即为"分布式事务".那么在目前数据库不支持跨库事务的情况下,我们应该如何实现分布式事务呢?本文首先会为大家梳理分布式事务的基本概念和理论基础,然后介绍几种目前常用的分布式事务解决方案.废话不多说,那就开始吧-

基于金融系统的分布式事务解决方案

分布式系统架构中,分布式事务问题是一个绕不过去的挑战.而微服务架构的流行,让分布式事问题日益突出! 下面我们以电商购物支付流程中,在各大参与者系统中可能会遇到分布式事务问题的场景进行详细的分析! 如上图所示,假设三大参与平台(电商平台.支付平台.银行)的系统都做了分布式系统架构拆分,按上数中的流程步骤进行分析: 1.电商平台中创建订单:预留库存.预扣减积分.锁定优惠券,此时电商平台内各服务间会有分布式事务问题,因为此时已经要跨多个内部服务修改数据: 2.支付平台中创建支付订单(选银行卡支付):查

微服务架构的分布式事务解决方案

微服务架构的分布式事务解决方案 标签:分布式事务,微服务,消息最终一致性,分布式事务解决方案发布于 2016-07-16 18:39:05 分布式系统架构中,分布式事务问题是一个绕不过去的挑战.而微服务架构的流行,让分布式事问题日益突出! 下面我们以电商购物支付流程中,在各大参与者系统中可能会遇到分布式事务问题的场景进行详细的分析! 如上图所示,假设三大参与平台(电商平台.支付平台.银行)的系统都做了分布式系统架构拆分,按上数中的流程步骤进行分析: 1.电商平台中创建订单:预留库存.预扣减积分.