高性能网站架构缓存——redis集群

相信你已经对redis有一定的了解,并能够安装上,进行简单的使用了,但是在咱们的实际应用中,使用redis肯定不会使用单机版,不光是redis不能使用单机版,其他的也不会使用,所以今天我们来说一下redis cluster的安装。

1.  Redis Cluster的架构图。

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护

Redis 集群中内置了 16384 个哈希槽,当需要在Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

2.  redis-cluster投票:容错

(1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.

(2):什么时候整个集群不可用(cluster_state:fail)?

a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.

ps:当集群不可用时,所有对集群的操作做都不可用,收到((error)CLUSTERDOWN The cluster is down)错误。

3.  安装环境

Redis Cluster的安装需要的环境我们需要准备好,最重要的最难解决的就是ruby环境,在这里,给大家一个连接,如至直接安装ruby,安装不上的话,大家可以参考这篇文章RubyGems镜像,淘宝的ruby镜像。他是没15分钟更新一次,所以跟国外的基本一样。

4.  集群搭建

本次为实验教程,所以在一台虚拟机中进行搭建,跟在多台真机上搭建其实没有什么区别,只要保证网络通信ok就可以了!

我们在几台机器上通过端口号的不同,搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示

主节点:127.0.0.1:7001 127.0.0.1:7002127.0.0.1:7003

从节点:127.0.0.1:7004127.0.0.1:7005127.0.0.1:7006

在/usr/local下创建redis-cluster目录,其下创建redis01、redis02。。redis06目录,如下:

然后我们将redis 安装到redis01中,安装完以后我们在将Redis编译目录中的redis。Conf文件复制到redis01目录下,就会看到在redis01目录下会有如下的文件。

然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

修改每个文件夹下的配置文件,有三点需要修改,每个配置文件都要配置自己的端口号,不能重复。

准备好以上工作以后,我们分别启动每个redis进行的实例。如果麻烦的话,可以自己写一个执行脚本。启动完毕以后我们输入命令ps ax|grep redis ,查看实例是否启动,出现如下所以图片,表示所有的实例都启动了。

实例启动完以后,我们要开始创建集群,在redis-cluter文件夹下执行如下命令。

[java] view plain copy

  1. <span style="font-size:18px;">  ./redis-trib.rbcreate --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004127.0.0.1:7005  127.0.0.1:7006。
  2. lt;/span><p><span style="font-size:18px;">>>> Creating cluster</span></p><p><span style="font-size:18px;">Connecting to node 127.0.0.1:7001: OK</span></p><p><span style="font-size:18px;">Connecting to node 127.0.0.1:7002: OK</span></p><p><span style="font-size:18px;">Connecting to node 127.0.0.1:7003: OK</span></p><p><span style="font-size:18px;">Connecting to node 127.0.0.1:7004: OK</span></p><p><span style="font-size:18px;">Connecting to node 127.0.0.1:7005: OK</span></p><p><span style="font-size:18px;">Connecting to node 127.0.0.1:7006: OK</span></p><p><span style="font-size:18px;">>>> Performing hash slotsallocation on 6 nodes...</span></p><p><span style="font-size:18px;">Using 3 masters:</span></p><p><span style="font-size:18px;">127.0.0.1:7001</span></p><p><span style="font-size:18px;">127.0.0.1:7002</span></p><p><span style="font-size:18px;">127.0.0.1:7003</span></p><p><span style="font-size:18px;">Adding replica 127.0.0.1:7004 to 127.0.0.1:7001</span></p><p><span style="font-size:18px;">Adding replica 127.0.0.1:7005 to 127.0.0.1:7002</span></p><p><span style="font-size:18px;">Adding replica 127.0.0.1:7006 to 127.0.0.1:7003</span></p><p><span style="font-size:18px;">M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001</span></p><p><span style="font-size:18px;">  slots:0-5460 (5461 slots) master</span></p><p><span style="font-size:18px;">M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002</span></p><p><span style="font-size:18px;">  slots:5461-10922 (5462 slots) master</span></p><p><span style="font-size:18px;">M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003</span></p><p><span style="font-size:18px;">  slots:10923-16383 (5461 slots) master</span></p><p><span style="font-size:18px;">S: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004</span></p><p><span style="font-size:18px;">  replicates 5a8523db7e12ca600dc82901ced06741b3010076</span></p><p><span style="font-size:18px;">S: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005</span></p><p><span style="font-size:18px;">  replicates bf6f0929044db485dea9b565bb51e0c917d20a53</span></p><p><span style="font-size:18px;">S: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006</span></p><p><span style="font-size:18px;">  replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca</span></p><p><span style="font-size:18px;">Can I set the above configuration? (type‘yes‘ to accept): <strong><span style="color:lime;">yes</span></strong></span></p><p><span style="font-size:18px;">>>> Nodes configuration updated</span></p><p><span style="font-size:18px;">>>> Assign a different configepoch to each node</span></p><p><span style="font-size:18px;">>>> Sending CLUSTER MEET messagesto join the cluster</span></p><p><span style="font-size:18px;">Waiting for the cluster to join.....</span></p><p><span style="font-size:18px;">>>> Performing Cluster Check(using node 127.0.0.1:7001)</span></p><p><span style="font-size:18px;">M: 5a8523db7e12ca600dc82901ced06741b3010076127.0.0.1:7001</span></p><p><span style="font-size:18px;">  slots:0-5460 (5461 slots) master</span></p><p><span style="font-size:18px;">M: bf6f0929044db485dea9b565bb51e0c917d20a53127.0.0.1:7002</span></p><p><span style="font-size:18px;">  slots:5461-10922 (5462 slots) master</span></p><p><span style="font-size:18px;">M: c5e334dc4a53f655cb98fa3c3bdef8a808a693ca127.0.0.1:7003</span></p><p><span style="font-size:18px;">  slots:10923-16383 (5461 slots) master</span></p><p><span style="font-size:18px;">M: 2a61b87b49e5b1c84092918fa2467dd70fec115f127.0.0.1:7004</span></p><p><span style="font-size:18px;">  slots: (0 slots) master</span></p><p><span style="font-size:18px;">  replicates 5a8523db7e12ca600dc82901ced06741b3010076</span></p><p><span style="font-size:18px;">M: 14848b8c813766387cfd77229bd2d1ffd6ac8d65127.0.0.1:7005</span></p><p><span style="font-size:18px;">  slots: (0 slots) master</span></p><p><span style="font-size:18px;">  replicates bf6f0929044db485dea9b565bb51e0c917d20a53</span></p><p><span style="font-size:18px;">M: 3192cbe437fe67bbde9062f59d5a77dabcd0d632127.0.0.1:7006</span></p><p><span style="font-size:18px;">  slots: (0 slots) master</span></p><p><span style="font-size:18px;">  replicates c5e334dc4a53f655cb98fa3c3bdef8a808a693ca</span></p><p><span style="font-size:18px;">[OK] All nodes agree about slotsconfiguration.</span></p><p><span style="font-size:18px;">>>> Check for open slots...</span></p><p><span style="font-size:18px;">>>> Check slots coverage...</span></p><p><span style="font-size:18px;">[OK] All 16384 slots covered.</span></p>

这样就表示我们的集群创建成功了!

5.  集群测试

我们输入redis01/redis-cli -h 127.0.0.1  -p 7002–c命令后,切忌要加入-c,否则我们进入的不是集群环境。进入客户端以后,我们输入set a 100 发现他会进行跳转,这就是因为他经过计算以后,要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了!

关闭redis集群不能直接kill掉进程,或者关机,我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭,这样在关闭之前,数据才能够进行保存。

时间: 2024-10-09 03:43:40

高性能网站架构缓存——redis集群的相关文章

高性能网站架构利器--redis必杀技

目录 1.redis简介 2.redis主从复制实现 3.sentinel集群管理工具实现redis的高可用性 4.redis cluster 4.1.redis cluster环境搭建 4.2.redis cluster增加节点 4.3.redis cluster删除节点 4.4.redis cluster主从手动切换 5.总结 1.redis简介 Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.从201

关于大型高并发网站架构以及数据库集群的一些问题

2014年6月11日,正在办理离职交接过程中,对未来的职业规划陷入了一些困境,想要专门从事管理工作,但是在任职期间所执行的管理工作仅仅属于team leader级别的,离项目经理感觉能力还有差距.对技术方面,总是有着难以克制的热情,多年的企业应用开发,锻炼了将需求转化为程序逻辑的能力.可对当下比较吃香的大型网站架构以及数据库集群技术,接触甚少.这也让我一直心有芥蒂,总想向着这个方向去探索.我想,如果想要成为一个好的架构师,这些事情如果不接触,你都不好意思跟人说你会做系统架构吧. IT给人的感觉就

高性能网站架构设计之缓存篇(5)- Redis 集群(上)

集群技术是构建高性能网站架构的重要手段,试想在网站承受高并发访问压力的同时,还需要从海量数据中查询出满足条件的数据,并快速响应,我们必然想到的是将数据进行切片,把数据根据某种规则放入多个不同的服务器节点,来降低单节点服务器的压力. 上一篇我们讲到了 Redis 的主从复制技术,当实现了多节点的 master-slave 后,我们也可以把它叫做集群,但我们今天要讲的集群主要是利用切片技术来组建的集群. 集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点,这里我们需要一个规则或

高性能网站架构设计之缓存篇(6)- Redis 集群(中)

昨天晚上钓鱼回来,大发神经,写了篇概括程序员生活现状的文章,没想到招来众多人的口诛笔伐,大有上升到政治层面的趋势. 我也许不会再发表任何冲击心灵的文章,我希望给大家带来更多的正能量,所以那篇文章已被我删除. 我的本意只是想让各位看过文章之后能冷静地思考自己的程序人生,不管是对是错,人都有选择的权力,走好自己的路. 我没有你们想象中那么悲观,我也在不懈的努力,哪怕一时的跌倒,我也要重新站起. 生活无时无刻不是压力,让我们背起行囊,迈出踏实的一步,走起! 我们继续我们的 redis 缓存之旅. 前一

架构设计:系统存储(18)——Redis集群方案:高性能

1.概述 通过上一篇文章(<架构设计:系统存储(17)--Redis集群方案:高可用>)的内容,Redis主从复制的基本功能和进行Redis高可用集群监控的Sentinel基本功能基本呈现给了读者.虽然本人并不清楚上一篇根据笔者实际工作经验所撰写的文章有什么重大问题,导致那么多朋友集体点踩而且截止目前又没有任何人愿意为笔者指出这些问题,但是这不会影响笔者继续学习.总结技术知识的热情.从这篇文章开始我们一起来讨论Redis中两种高性能集群方案,并且在讨论过程中将上一篇文章介绍的高可用集群方案结合

高性能网站架构设计之缓存篇(3)- Redis的配置

我们说Redis是一个强大的Key-Value存储系统,在前面我们已遇到了两个问题: 1.redis server 启动后,独占进程,能不能修改为后台服务呢? 2.redis server 服务是单线程的,而我的机器是多核的,能不能在同一台机器上开启多个实例更充分的利用 cpu 资源呢?但6379端口已经被前一个实例绑定,肯定会有冲突,那能不能修改默认端口呢? 答案是肯定的,redis 提供了灵活的配置方式,一种可以通过配置文件来配置,另一种你可以在运行时通过 config set 命令来修改配

15套java架构师、集群、高可用、高可扩 展、高性能、高并发、性能优化大型分布 式项目实战视频教程

2017-08-09 * { font-family: "Microsoft YaHei" !important } h1 { color: #FF0 } 15套java架构师.集群.高可用.高可扩 展.高性能.高并发.性能优化.Spring boot.Redis.ActiveMQ.Nginx.Mycat.Netty.Jvm大型分布 式项目实战视频教程 视频课程包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Redis.ActiveMQ.

java架构师、集群、高可用、高可扩展、高性能、高并发、性能优化

15套java架构师.集群.高可用.高可扩展.高性能.高并发.性能优化.Spring boot.Redis.ActiveMQ.Nginx.Mycat.Netty.Jvm大型分布式项目实战视频教程 视频课程内容包含: 高级Java架构师包含:Spring boot.Spring  cloud.Dubbo.Redis.ActiveMQ.Nginx.Mycat.Spring.MongoDB.ZeroMQ.Git.Nosql.Jvm.Mecached.Netty.Nio.Mina.性能调优.高并发.to

Redis集群架构

Redis集群概述 集群的核心意义只有一个:保证一个节点出现了问题之后,其他的节点可以继续提供服务使用. Redis基础部分讲解过主从配置:对于主从配置可以有两类:一主二从,层级关系.开发者一主二从是常用的手段. Redis的主从配置是所有Redis集群的一个基础.但是只是依靠主从依然无法实现高可用的配置. Redis集群有以下两种方案 1)keepalived+twemproxy+HAProxy+sentinel 对redis集群而言,首先在主从的基础上发展出了一个叫哨兵的处理机制,所谓的哨兵