Redis到底该如何利用(三)?

上两篇受益匪浅,秉着趁热打铁,不挖到最深不罢休的精神,我决定追加这篇。上一篇里最后我有提到实现分级缓存管理应该是个可行的方案,因此今天特别实践了一下。不过缓存分级之后也发现了一些问题,例如下图:

当appServerA修改了数据,并同步到Redis/DB之后,如何让appServerB也能更新本地缓存呢?虽然Redis的出现是为了解决这个问题的,但是分级方案里,MemoryCache还是需要保留。那么如何保存呢?我尝试了下面的几种方式,现在我们逐一来看。

全数据增量同步

所谓全数据校验,即所有的缓存数据首先都同步至Redis,然后根据数据的时间戳来进行同步。分解步骤如下:

  1. 首先将缓存的数据初始化,同步至Redis和MemoryCache,保持初始数据的同步
  2. 第二步,每当操作了数据之后,给记录一个时间戳标识最近的更新。
  3. MemoryCache定时或者每次取数据的时候,以最近的一个同步的时间戳开始同步到现在的时间戳

上面的方案咱们落地到.NET+Redis又该怎么处理呢?

第一步很简单直接跳过,第二步就有点问题了,这个时间戳要便于redis的排序和获取,考虑到这些问题,我觉得取Linux的数字型时间戳比较靠谱,再配合SortSet来建立索引,进行同步,看起来的确不错。那么来看下代码:

本篇还是以User为例,可能场景不适合,大家将就理解

public void UpdateToRedis(User user)
{
            var redis = ConnectionMultiplexer.Connect("localhost");
            var db = redis.GetDatabase();

            TimeSpan ts = DateTime.Now.ToUniversalTime() - new DateTime(1970, 1, 1, 0, 0, 0, 0);
            double time = Convert.ToInt64(ts.TotalSeconds);//计算Unix时间戳
            db.SortedSetAdd("capqueen:user:index", user.Id, time);//更新记录
            var json = JsonConvert.SerializeObject(user);
            db.StringSet("capqueen:user" + user.Id, json);//user记录
}

同步:

public void Sync(double timespan)
{
            var redis = ConnectionMultiplexer.Connect("localhost");
            var db = redis.GetDatabase();

            TimeSpan ts = DateTime.Now.ToUniversalTime() - new DateTime(1970, 1, 1, 0, 0, 0, 0);
            double time = Convert.ToInt64(ts.TotalSeconds);//计算Unix时间戳

            //同步时间范围内的记录,这里增加时间范围,以防止一些数据不准确的问题
            var members = db.SortedSetRangeByScore("capqueen:user:index", timespan, time);

            var keys = members.ToList().Select<RedisValue, RedisKey>(i => i.ToString());
            var values = db.StringGet(keys.ToArray());

            //构造List Json以加速解析
            var portsJson = new StringBuilder("[");

            values.ToList().ForEach(item =>
            {
                if (!string.IsNullOrWhiteSpace(item))
                {
                    portsJson.Append(item).Append(",");
                }
            });

            portsJson.Append("]");

            var users = JsonConvert.DeserializeObject<List<User>>(portsJson.ToString());

            //和内存的List<User>做同步
            ...
            //END
}

上面的代码只是实例,实际运行的时候感觉还不是特别靠谱。

消息通知

增量同步是好,但是同时时机也是个问题,时机不对,就会影响用户体验。而且感觉我们还是无法很好的掌控数据。那么有没有一种方式可以及时的通知到appServer更新缓存呢?这里我脑子里冒出来的是.NET Event机制。

我觉得.NET因为有了优秀的Event机制,才让我觉得它使用起来很方便

但是这里是服务器之间的通信,我想非Scoket莫属了,之间做过Scoket双向通信,印象特别深刻,这样的场景让我自然而然的想到了这个方案。可是特别的增加一个socket,本身复杂的架构要更复杂了,还是寻求一个靠谱的中间件比较适合。看过Redis的功能列表的同学,一定没忘记Redis还有一个订阅发布,pub/sub功能。于是我就利用了这个功能,设计了如下的方案:

  1. 为app增加一个sub线程,用于接收redis订阅消息
  2. 在每一个缓存对象更新的同时,增加异步pub消息到redis

先来看下Redis的,pub/sub功能,请看文档

redis提供指定channel的订阅发布功能,每一个Client可以订阅指定的channel消息,也可以向指定的channel发送消息。

利用ServiceStack.Redis的pub/sub功能实现如下:

using (var redisConsumer = new RedisClient(TestConfig.SingleHost))
using (var subscription = redisConsumer.CreateSubscription())
{
    subscription.OnSubscribe = channel =>
    {
        //订阅事件
    };
    subscription.OnUnSubscribe = channel =>
    {
       //退订事件
    };
    subscription.OnMessage = (channel, msg) =>
    {
        // 这里的msg,我为了测试定义成了userid
        var user= redisConsumer.As<User>().GetById(msg);//从Redis获取记录
        UpdateLocalCache(user);//更新本地
    };

    subscription.SubscribeToChannels("capqueen:redis:events"); //blocking
}

发送:

using (var redisPublisher = new RedisClient("localhost"))
{
    redisPublisher.PublishMessage("capqueen:redis:events", userId);//发送消息
}

这里我觉得message应该定义成一个消息体,接收处理应该根据具体的消息定义来具体处理,因为订阅发布的通道显然应该是合理利用,如果一个业务一个通道,有点太多了。

当然这个实现起来又要讲一大篇了,这里不多说明。

总结

本篇文章,根据上一篇提的方案做了一些实现,不足之处太多了。例如事件丢了怎么办?如何正确的处理消息缺失,记录少了之类的特殊情况应该是很重要的。我暂时还没想到方案,不知道前辈们如何看待这样的问题。可能我还是滥用了Redis,为了技术而技术了,不过不尝试碰下壁,怎么能得到成长。所谓兼听则明 偏信则暗,我感觉自己有点不见棺材不落泪了。请前辈们不吝指教!

时间: 2024-10-07 00:30:21

Redis到底该如何利用(三)?的相关文章

Redis到底该如何利用?

Redis是个好东西,经过上两个星期的研究和实践,目前正在项目里大规模的替换掉原来的本地内存cache.但是替换过程中却发现,Redis这东西高端,大气上档次,似乎不是我想象里的使用方法. 在没有深入Redis之前,在我的概念里,缓存,就是key-value.而使用方式肯定不需要改动多少代码,一切都是Get/Set.但是实际用的时候却发现,我错了,不是所有的场景都是简单的Get/Set.也不是所有的数据都适合key-Value,于是有了这个问题,Redis到底该如何使用?我问自己,也向园子里的朋

Redis到底该如何利用?【转自:http://www.cnblogs.com/capqueen/p/HowToUseRedis.html】

Redis是个好东西,经过上两个星期的研究和实践,目前正在项目里大规模的替换掉原来的本地内存cache.但是替换过程中却发现,Redis这东西高端,大气上档次,似乎不是我想象里的使用方法. 在没有深入Redis之前,在我的概念里,缓存,就是key-value.而使用方式肯定不需要改动多少代码,一 切都是Get/Set.但是实际用的时候却发现,我错了,不是所有的场景都是简单的Get/Set.也不是所有的数据都适合key-Value,于是有了 这个问题,Redis到底该如何使用?我问自己,也向园子里

利用“三角化”计算行列式快速求解程序(验证过很多题目的,绝对准确)

#include<iostream>#include<cmath>using namespace std;void main(){ //输入行列式开始 int n,i,j,a[10][10],T[10],max[10],b[10],k,q,p; float t[10][10],c,sum=-1; cout<<"阶数:"; cin>>n; cout<<"行列式:"<<endl; for(i=1;i

Redis使用总结 (序列三)

概述: 1.为什么使用redis2.使用redis有什么缺点3.单线程的redis为什么这么快4.redis的数据类型,以及每种数据类型的使用场景5.redis的过期策略以及内存淘汰机制6.redis和数据库双写一致性问题7.如何应对缓存穿透和缓存雪崩问题8.如何解决redis的并发竞争问题 1.为什么使用redis 分析:在项目中使用redis,主要是从两个角度去考虑:性能和并发.当然,redis还具备可以做分布式锁等其他功能,但是如果只是为了分布式锁这些其他功能,完全还有其他中间件(如zoo

Redis源码分析(三十六)--- Redis中的11大优秀设计

坚持了一个月左右的时间,从最开始的对Redis的代码做分类,从struct结构体分析开始,到最后分析main主程序结束,中间,各大模块的代码逐个击破,学习,总之,收获了非常多,好久没有这么久的耐心把一个框架学透,学习一个框架,会用那只是小小的一部分,能把背后的原理吃透才是真功夫.在这个学习的最后阶段,是时候要来点干货了,我把这1个多月来的一些总结的一些比较好的代码,和设计思想总结出来了,原本想凑成10大精彩设计的,可后来感觉每个点都挺精彩的,还是做成了11大优秀设计,包证让你打开研究,这里无关语

Redis 到底是怎么实现“附近的人”这个功能的呢?

作者简介 万汨,饿了么资深开发工程师.iOS,Go,Java均有涉猎.目前主攻大数据开发.喜欢骑行.爬山. 前言:针对“附近的人”这一位置服务领域的应用场景,常见的可使用PG.MySQL和MongoDB等多种DB的空间索引进行实现.而Redis另辟蹊径,结合其有序队列zset以及geohash编码,实现了空间搜索功能,且拥有极高的运行效率.本文将从源码角度对其算法原理进行解析,并推算查询时间复杂度. 要提供完整的“附近的人”服务,最基本的是要实现“增”.“删”.“查”的功能.以下将分别进行介绍,

Redis 到底是如何实现“附近的人”这个功能呢?

针对“附近的人”这一位置服务领域的应用场景,常见的可使用PG.MySQL和MongoDB等多种DB的空间索引进行实现.而Redis另辟蹊径,结合其有序队列zset以及geohash编码,实现了空间搜索功能,且拥有极高的运行效率.本文将从源码角度对其算法原理进行解析,并推算查询时间复杂度. 操作命令 自Redis 3.2开始,Redis基于geohash和有序集合提供了地理位置相关功能. Redis Geo模块包含了以下6个命令: GEOADD: 将给定的位置对象(纬度.经度.名字)添加到指定的k

Redis 实现限流的三种方式

项目中用到了限流,受限于一些实现方式上的东西,手撕了一个简单的服务端限流器. 服务端限流和客户端限流的区别,简单来说就是: 1)服务端限流 对接口请求进行限流,限制的是单位时间内请求的数量,目的是通过有损来换取高可用. 例如我们的场景是,有一个服务接收请求,处理之后,将数据bulk到Elasticsearch中进行索引存储,bulk索引是一个很耗费资源的操作,如果遭遇到请求流量激增,可能会压垮Elasticsearch(队列阻塞,内存激增),所以需要对流量的峰值做一个限制. 2)客户端限流 限制

《四大点,搞懂Redis到底快在哪里?》

一.开发语言 二.纯内存访问 三.单线程 四.非阻塞多路I/O复用机制 前言 Redis是一种基于键值对(Key-Value)的NoSQL数据库 ,Redis的Value可以由String,hash,list,set,zset,Bitmaps,HyperLogLog等多种数据结构和算法组成. Redis还提供了键过期,发布订阅,事务,Lua脚本,哨兵,Cluster等功能. Redis执行命令的速度非常快,根据官方给的性能可以达到10w+qps. 那么本文主要介绍到底Redis快在哪里,主要有以