Net分布式系统之五：C#使用Redis集群缓存

　　本文介绍系统缓存组件，采用NOSQL之Redis作为系统缓存层。

一、背景

　　系统考虑到高并发的使用场景。对于并发提交场景，通过上一章节介绍的RabbitMQ组件解决。对于系统高并发查询，为了提供性能减少数据库压力，我们加入缓存机制，可以不同层次加入缓存支持，本文主要介绍应用服务层和数据层之间加入缓存机制提升性能。业界缓存组件有Redis、Memcached、MemoryCache。本系统采用Redis缓存组件，有些系统将Redis当作MQ使用，此场景本系统用RabbitMQ，Redis主要用于系统缓存应用。


二、Redis简介

　　Redis是一个开源的Key-Value数据库，使用C语言编写、支持网络、可基于内存亦可持久化的NOSQL数据库，并提供多种语言的API，例如：Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby等语言驱动。自Redis3.0开始支持集群方案。

　　相关Redis Cluster 原理在此不多介绍，网络上有很多资料。


三、Redis集群应用

　　（一）环境介绍

　　　　本系统基于Linux之CentOS搭建Redis3.0集群。将三个Instance部署于一台虚拟机，应用部署于windows平台。

序号 服务IP 说明
1 192.168.1.110
Redis节点A端口：7000(M)，7003(S)

Redis节点B端口：7001(M)，7004(S)

Redis节点C端口：7002(M)，7005(S)

　　

　　

　　（二）安装Redis

　　1、安装相关依赖工具

[[email protected] 桌面]# yum -y install gcc openssl-devel libyaml-devel libffi-devel readline-devel zlib-devel gdbm-devel ncurses-devel gcc-c++ automake autoconf

　　2、安装Redis 3.0.6

[[email protected] 桌面]# cd /usr/loacal
[[email protected] loacal]# wget http://download.redis.io/releases/redis-3.0.6.tar.gz
[[email protected] 桌面]# tar xvf redis-3.0.6.tar.gz
[[email protected] 桌面]# cd redis-3.0.6/
[[email protected] 桌面]# make MALLOC=libc
[[email protected] redis-3.0.6]# make install

　　3、由于我们使用不同端口号区分，在两个服务各自建立以端口命名的文件夹。配置7000节点服务，将redis-server和redis.conf复制到/etc/redis/7000

[[email protected] 桌面]# mkdir /etc/redis/7000
[[email protected] 桌面]# mkdir /etc/redis/7001
[[email protected] 桌面]# mkdir /etc/redis/7002
[[email protected] 桌面]# mkdir /etc/redis/7003
[[email protected] 桌面]# mkdir /etc/redis/7004
[[email protected] 桌面]# mkdir /etc/redis/7005
[[email protected] redis-3.0.6]# cp /usr/local/redis-3.0.6/src/redis-server /usr/local/redis-3.0.6/redis.conf /etc/redis/7000
[[email protected] redis-3.0.6]# vim /etc/redis/7000/redis.conf

　　port 7000
　　daemonize yes 
　　pidfile /var/run/redis_7000.pid
　　cluster-enabled yes
　　cluster-config-file nodes.conf
　　logfile "/var/log/redisd7000.log"
　　dir /etc/redis/7000/
　　cluster-node-timeout 5000
　　appendonly yes

　　4、修改redis服务的启动脚本，修改内容，并复制相关其他的节点配置

[[email protected] redis-3.0.6]# cp /usr/local/redis-3.0.6/utils/redis_init_script /etc/init.d/redis7000
[[email protected] redis-3.0.6]# vim /etc/init.d/redis7000

#!/bin/sh
# chkconfig 2345 90 10
# description:Redis is a persistent key-value database
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.

REDISPORT=7000
# EXEC=/usr/local/bin/redis-server
EXEC=/etc/redis/${REDISPORT}/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/run/redis_${REDISPORT}.pid
CONF="/etc/redis/${REDISPORT}/redis.conf"

[[email protected] redis-3.0.6]# cp /etc/init.d/redis7000 /etc/init.d/redis7001
[[email protected] redis-3.0.6]# cp /etc/init.d/redis7000 /etc/init.d/redis7003
[[email protected] redis-3.0.6]# cp /etc/init.d/redis7000 /etc/init.d/redis7004

　　5、设置为开机自启动服务器

[[email protected] redis-3.0.6]# chkconfig redis7000 on
[[email protected] redis-3.0.6]# chkconfig redis7001 on
[[email protected] redis-3.0.6]# chkconfig redis7003 on
[[email protected] redis-3.0.6]# chkconfig redis7004 on

　　6、重启系统，并检查redis7000,redis7001,redis7003,redis7004服务情况

[[email protected] redis-3.0.6]# reboot[[email protected] 桌面]# systemctl status redis7004.service

　

　　（三）配置Redis集群

　　1、按照 ruby tree 工具，因为redis集群需要ruby

[[email protected] redis-3.0.6]# yum -y install tcl ruby tree[[email protected] 桌面]# gem install redis --version 3.0.6

Fetching: redis-3.0.6.gem (100%)
Successfully installed redis-3.0.6
Parsing documentation for redis-3.0.6
Installing ri documentation for redis-3.0.6
1 gem installed

　　2、redis-trib.rb 配置集群

[[email protected] 桌面]# /usr/local/redis-3.0.6/src/redis-trib.rb create --replicas 1 192.168.1.110:7000 192.168.1.110:7001 192.168.1.110:7002 192.168.1.110:7003 192.168.1.110:7004 192.168.1.110:7005
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.1.110:7000
192.168.1.110:7001
192.168.1.110:7002
Adding replica 192.168.1.110:7003 to 192.168.1.110:7000
Adding replica 192.168.1.110:7004 to 192.168.1.110:7001
Adding replica 192.168.1.110:7005 to 192.168.1.110:7002
M: b164701893bfbdc078e2f7e3b16f1216c1bf65ff 192.168.1.110:7000
   slots:0-5460 (5461 slots) master
M: 4c2d36c55cff692a7bbeccb663197b555747d15d 192.168.1.110:7001
   slots:5461-10922 (5462 slots) master
M: b147e4dfcd63c5ce059540db55a9d7cb9fa093eb 192.168.1.110:7002
   slots:10923-16383 (5461 slots) master
S: 757381aa5cc5c8ba70f3798f6de6cb7b2e97f924 192.168.1.110:7003
   replicates b164701893bfbdc078e2f7e3b16f1216c1bf65ff
S: fecc8edf32fc72cd4a5d8ae5306fe4083abfe8e9 192.168.1.110:7004
   replicates 4c2d36c55cff692a7bbeccb663197b555747d15d
S: 98bd8e1aff631a3bee7f92a39764decea16ee955 192.168.1.110:7005
   replicates b147e4dfcd63c5ce059540db55a9d7cb9fa093eb
Can I set the above configuration? (type ‘yes‘ to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
>>> Performing Cluster Check (using node 192.168.1.110:7000)
M: b164701893bfbdc078e2f7e3b16f1216c1bf65ff 192.168.1.110:7000
   slots:0-5460 (5461 slots) master
M: 4c2d36c55cff692a7bbeccb663197b555747d15d 192.168.1.110:7001
   slots:5461-10922 (5462 slots) master
M: b147e4dfcd63c5ce059540db55a9d7cb9fa093eb 192.168.1.110:7002
   slots:10923-16383 (5461 slots) master
M: 757381aa5cc5c8ba70f3798f6de6cb7b2e97f924 192.168.1.110:7003
   slots: (0 slots) master
   replicates b164701893bfbdc078e2f7e3b16f1216c1bf65ff
M: fecc8edf32fc72cd4a5d8ae5306fe4083abfe8e9 192.168.1.110:7004
   slots: (0 slots) master
   replicates 4c2d36c55cff692a7bbeccb663197b555747d15d
M: 98bd8e1aff631a3bee7f92a39764decea16ee955 192.168.1.110:7005
   slots: (0 slots) master
   replicates b147e4dfcd63c5ce059540db55a9d7cb9fa093eb
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

　　3、检查集群状态

[[email protected] 桌面]# /usr/local/redis-3.0.6/src/redis-trib.rb check  192.168.1.110:7000

　　4、若出错的话，通过如下命令行修复

[[email protected] 桌面]# /usr/local/redis-3.0.6/src/redis-trib.rb fix 192.168.1.110:7000

　　5、防火墙开放端口，并重启防火墙

[[email protected] 桌面]# firewall-cmd --zone=public --add-port=7000-7005/tcp --permanent
success
[[email protected] 桌面]# firewall-cmd --reload
success

　　6、检查集群情况

[[email protected] 桌面]# redis-cli -c -p 7000
127.0.0.1:7000> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_sent:2492
cluster_stats_messages_received:2492

四、使用说明

　　（一）使用命令行测试缓存

　　

　　（二）通过C#代码测试缓存

　　1、通过使用stackexchang.redis组件，将数据缓存到集群redis服务。

var cfg = RedisCachingSectionHandler.GetConfig();
var serializer = new NewtonsoftSerializer();
var redis = new StackExchangeRedisCacheClient(serializer, cfg);

var cls = new Cls(){ ID = 1, Name = txt };
string key = "tkey" + new Random().Next(1000, 9999).ToString();
redis.Add<Cls>(key, cls);

　　2、通过key获取数据

var cfg = RedisCachingSectionHandler.GetConfig();
var serializer = new NewtonsoftSerializer();
var redis = new StackExchangeRedisCacheClient(serializer, cfg);
var entity =  redis.Get<Cls>(key);
 ViewBag.KV = entity != null ? entity.Name : "";

　　3、redis缓存情况


五、总结

　　redis cluster 默认支持HA，但是对于单个Instance故障，使用者需要自行判断处理的机制，后续有待于研究，但是redis codis 这方面提供了方便的支持。

作者:andon
出处：http://www.cnblogs.com/Andon_liu

关于作者：专注于微软平台项目架构、管理。熟悉设计模式、领域驱动、架构设计、敏捷开发和项目管理。现主要从事ASP.NET MVC、WCF/Web API、SOA、MSSQL、redis方面的项目开发、架构、管理工作。
如有问题或建议，请一起学习讨论！

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。

如有问题，可以邮件：[email protected] 联系我，谢谢。

时间： 2024-10-13 21:31:18

Net分布式系统之五：C#使用Redis集群缓存的相关文章

C#使用Redis集群缓存

C#使用Redis集群缓存 本文介绍系统缓存组件,采用NOSQL之Redis作为系统缓存层. 一.背景 系统考虑到高并发的使用场景.对于并发提交场景,通过上一章节介绍的RabbitMQ组件解决.对于系统高并发查询,为了提供性能减少数据库压力,我们加入缓存机制,可以不同层次加入缓存支持,本文主要介绍应用服务层和数据层之间加入缓存机制提升性能.业界缓存组件有Redis.Memcached.MemoryCache.本系统采用Redis缓存组件,有些系统将Redis当作MQ使用,此场景本系统用Rabbi

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案 http://www.tuicool.com/articles/naeEJbv 基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案 时间 2014-02-21 15:15:17  IT社区推荐资讯 原文  http://itindex.net/detail/48192-redis-sentinel-redis Redis Sentinel是一个分布式系统,可以部署多个Se

基于Redis Sentinel的Redis集群(主从Sharding)高可用方案(转)

本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求: Redis Sentinel介绍 Redis Sentinel是Redis官方提供的集群管理工具,主要有三大功能: 监控,能持续监控Redis的主从实例是否正常

基于redis集群实现的分布式锁，可用于秒杀商品的库存数量管理，有測试代码(何志雄)

转载请标明出处. 在分布式系统中,常常会出现须要竞争同一资源的情况,本代码基于redis3.0.1+jedis2.7.1实现了分布式锁. redis集群的搭建,请见我的另外一篇文章:<><redis3.0.1集群环境搭建> 可用于比如秒杀系统中的商品库存的管理.付完整代码及測试用例. package com.gaojiasoft.gaojiaRedis; import java.util.UUID; import java.util.concurrent.LinkedBlockin

(转)基于Redis Sentinel的Redis集群(主从&amp;Sharding)高可用方案

转载自:http://warm-breeze.iteye.com/blog/2020413 本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求: Redis Sentinel介绍 Redis Sentinel是Re

深入剖析Redis系列： Redis集群模式搭建与原理详解

前言 在 Redis 3.0 之前,使用 哨兵(sentinel)机制来监控各个节点之间的状态.Redis Cluster 是 Redis 的 分布式解决方案,在 3.0 版本正式推出,有效地解决了 Redis 在 分布式 方面的需求.当遇到 单机内存.并发.流量 等瓶颈时,可以采用 Cluster 架构方案达到 负载均衡 的目的. 本文将从 集群方案.数据分布.搭建集群.节点通信.集群伸缩.请求路由.故障转移.集群运维 等几个方面介绍 Redis Cluster. 正文 1. Redis集群方

redis集群的常见面试题

redis集群的常见面试题 1) 简单说一下你对分布式理解? 答:一个业务分拆多个子业务,部署在不同的服务器上实现相同的业务就是分布式若是一个字节业务点垮了 那么整个项目将无法运行 2) 简单说一下你对集群理解? 为了解决大型网站的访问量大.并发量高.海量数据的问题  和对分布式的问题进行解决的一个方案   将几台服务器集中在一起,实现同一业务,多个处理相同功能的服务器集合.若一台服务器垮了,其它的服务器可以顶上来. 3) 说一下分布式和集群联系和区别 区别:集群是相当于一个存储数据的地方  而

支撑微博亿级社交平台，小白也能玩转Redis集群(原理篇)

Redis作为一款性能优异的内存数据库,支撑着微博亿级社交平台,也成为很多互联网公司的标配.这里将以Redis Cluster集群为核心,基于最新的Redis5版本,从原理再到实战,玩转Redis集群 常见Redis集群方案 在介绍Redis Cluster集群方案之前,为了方便对比,先简单了解一下业界常见的Redis集群方案: 1 基于客户端分片 Redis Sharding是Redis Cluster出来之前,业界普遍使用的多Redis实例集群方法.其主要思想是基于哈希算法,根据Redis数

分布式锁--redis(集群)

原文链接:https://blog.csdn.net/weixin_38003389/article/details/89434629 redis 集群做分布式锁,我们使用 Redisson. 框架 版本 Spring Boot 2.0.3.RELEASE Spring Cloud Finchley.RELEASE redis redis-4.0.11 JDK 1.8.x maven配置 <parent> <groupId>org.springframework.boot</