Redis主从、sentinel故障自动切换


一、什么是redis主从复制?

主从复制,当用户往Master端写入数据时,通过Redis Sync机制将数据文件发送至Slave,Slave也会执行相同的操作确保数据一致;且实现Redis的主从复制非常简单。

二、redis主从复制特点

1、同一个Master可以拥有多个Slaves。

2、Master下的Slave还可以接受同一架构中其它slave的链接与同步请求,实现数据的级联复制,即Master->Slave->Slave模式;

3、Master以非阻塞的方式同步数据至slave,这将意味着Master会继续处理一个或多个slave的读写请求;

4、Slave端同步数据也可以修改为非阻塞是的方式,当slave在执行新的同步时,它仍可以用旧的数据信息来提供查询;否则,当slave与master失去联系时,slave会返回一个错误给客户端;

5、主从复制具有可扩展性,即多个slave专门提供只读查询与数据的冗余,Master端专门提供写操作;

6、通过配置禁用Master数据持久化机制,将其数据持久化操作交给Slaves完成,避免在Master中要有独立的进程来完成此操作。

三、redis主从复制原理

      当启动一个Slave进程后,它会向Master发送一个SYNC Command,请求同步连接。无论是第一次连接还是重新连接,Master都会启动一个后台进程,将数据快照保存到数据文件中,同时Master会记录所有修改数据的命令并缓存在数据文件中。后台进程完成缓存操作后,Master就发送数据文件给Slave,Slave端将数据文件保存到硬盘上,然后将其在加载到内存中,接着Master就会所有修改数据的操作,将其发送给Slave端。若Slave出现故障导致宕机,恢复正常后会自动重新连接,Master收到Slave的连接后,将其完整的数据文件发送给Slave,如果Mater同时收到多个Slave发来的同步请求,Master只会在后台启动一个进程保存数据文件,然后将其发送给所有的Slave,确保Slave正常。

四、配置过程

Jemalloc安装

#yum install -y tcl gcc gcc-c++  make bzip2

#wgethttp://www.canonware.com/download/jemalloc/jemalloc-4.2.0.tar.bz2

#tar -xjf jemalloc-4.2.0.tar.bz2

#cd jemalloc-4.2.0

#./configure --prefix=/usr/local/jemalloc --libdir=/usr/local/lib

#make && make install

#make clean

#echo "/usr/local/lib" >/etc/ld.so.conf.d/usr_local_lib.conf

#/sbin/ldconfig

Redis安装

#cd ../

#wget http://download.redis.io/releases/redis-3.2.0.tar.gz

#cd redis-3.2.0

#make MALLOC=jemalloc

#make install

#cd utils/

#./install_server.sh

安装配置和数据路径可以定义:

Selected config:

Port           :6379

Config file    : /etc/redis/6379.conf

Log file       :/var/log/redis_6379.log

Data dir       : /data/redis

Executable     : /usr/local/bin/redis-server

Cli Executable : /usr/local/bin/redis-cli

Is this ok? Then press ENTER to go on or Ctrl-C to abort.

Copied /tmp/6379.conf =>/etc/init.d/redis_6379

 

Redis设置内存大小

打开redis配置文件

#vim /etc/redis/6379.conf

增加如下两行

maxmemory 12g              
maxmemory-policy volatile-lru

第一行:Redis设置最大占用内存,一般推荐Redis设置内存为最大物理内存的四分之三。

第二行:如果设置了maxmemory,一般都要设置过期策略。

Redis有六种过期策略:

1、volatile-lru -> 根据LRU算法生成的过期时间来删除。

2、allkeys-lru -> 根据LRU算法删除任何key。

3、volatile-random-> 根据过期设置来随机删除key。

4、allkeys->random-> 无差别随机删。

5、volatile-ttl -> 根据最近过期时间来删除(辅以TTL)

6、noeviction -> 谁也不删,直接在写操作时返回错误。

配置完成重启redis

查看配置是否生效

#redis-cli info

主从

192.168.1.76  主

192.168.1.77  从

两台分别安装redis

安装好之后,在从192.168.1.77的redis配置文件修改bind并增加一行参数

#vim /etc/redis/6379.conf

bind 0.0.0.0

slaveof 192.168.1.76  6379

启动两台redis

在主192.168.1.76执行

#redis-cli

>set name ceshi

>get name

在从192.168.1.77执行

#redis-cli

>get name

如果可以get到ceshi,代表主从成功

Sentinel哨兵:

在其中一台redis上或者随便找一台服务器安装,如果只安装一个sentinel并要安装在redis服务器上,建议在从上搭建sentinel,这样保证了主宕机之后不会影响主从切换,从宕机不会影响主的运行

#vim /etc/redis/sentinel.conf

port 26379   
daemonize yes
sentinel monitor mymaster 192.168.1.76 6379 1
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 900000
logfile "/var/log/sentinel.log"

注释:

第一行:指定sentinel端口号

第二行:指定sentinel为后台启动

第三行:指定sentinel去监视一个名为mymaster的Master,Master的IP地址为192.168.1.76,

端口为6379,最后的1表示当有1个Sentinel检测到Master异常时会判定其失效,如果为2,即只有当2个Sentinel都判定Master失效了才会自动迁移,如果Sentinel的数量不达标,则不会执行自动故障迁移。

第四行:指定Sentinel判定Master断线的时间。(单位为毫秒,判定为主观下线SDOWN)

第五行:指定在执行故障转移时,最多可以有多少个Slave同时对新的Master进行同步。这个数字设置为1,虽然完成故障转移所需的时间会变长,但是可以保证每次只有1个Slave处于不能处理命令请求的状态。

第六行:如果在该时间(ms)内未能完成failover(即故障时master/slave自动切换

)操作,则认为该failover失败。

第七行:指定Sentinel日志文件。

启动

#redis-sentinel /etc/redis/sentinel.conf

测试:

使用如下命令查看

#redis-cli -h 192.168.1.76 -p 6379 info

将主192.168.1.76的redis停掉,会发现从192.168.1.77切换为主了

将主192.168.1.76的redis启动,会发现自动添加为从服务器了

Redis数据迁移

1、在旧redis执行redis-clisave将数据保存到磁盘文件dump.rdb

2、停止新redis

3、将旧的redis保存后的磁盘文件dump.rdb拷贝到新的redis数据目录下

4、启动新的redis

时间: 2024-10-11 16:23:46

Redis主从、sentinel故障自动切换的相关文章

redis主从+sentinel故障转移部署

redis的认识 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合)和zset(有序集合).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追

redis主从+sentinel

redis作为nosql数据库主流产品之一,现在被广泛使用,如何保证redis的高可用和故障自动切换,本文介绍了redis的主从配置方法,及故障切换的sentinel搭建.如下: 环境说明: server 系统:CentOS 6.5 X64 redis软件说明:2.8.19版本 一:配置主从redis 1.架构: 主库:172.16.52.130 从库1:172.16.52.131 从库2:172.16.52.132 2.主从操作: tar xvf redis-2.8.19.tar.gz -C

DRBD+Pacemaker实现DRBD主从角色的自动切换

DRBD+Pacemaker实现DRBD主从角色的自动切换 前提: drbd设备名,以及drbd设备的挂载点都要与对端节点保持一致: 因为我们 定义资源,使用到设备名及挂载点,所以两端的drbd设备名和设备的挂载点都必须保持一致: 如何定义主从资源? 主从资源是一类特殊的克隆资源: 要成为克隆资源,首先必须定义成主资源; 因此,要想定义成主从资源,首先必须定义成主资源.为保证成为主资源的同时,drdb设备可以同时挂载,还需定义Filesystem clone-max: 在集群中最多能运行多少份克

mongodb----副本集搭建及故障自动切换

mongodb副本集搭建 mongodb单台服务器 数据会有丢失的风险 单台服务器无法做高可用 mongodb副本集能够预防数据丢失,多台mongodb数据一致. mongodb副本集能够在有问题的时候自动切换. 每台服务器的内核设置必须一样,不然可能会报错. mongodb配置 systemLog:  destination: file #日志路径  logAppend: true #每次启动用追加的模式生成日志  path: /data/mongodb/27017/mongodb.logst

redis主从配置及手动切换遇到的问题

解析我做redis主从遇到的问题: redis只要下载好压缩包后解压缩然后make就可以直接使用了,启动服务是: /usr/local/src/redis/src/redis-server 然后进入交互界面是: /usr/lcoal/src/redis/src/reids-cli 假如没有更改port那么默认监听6379端口,如果改了,登录时务必在后面-p  端口号.才能登录. 然后如果更改了redis.conf文件那么启动时: /usr/local/src/redis/src/redis-se

redis_主从配置以及自动切换

3台虚拟机 192.168.1.52 192.168.1.53 192.168.1.54 上来做这个操作: 1.机器上编译安装(3.0.7版本)redis->wget http://download.redis.io/releases/redis-3.0.7.tar.gz 2.配置: 主机:192.168.1.52  从机:192.168.1.53   192.168.1.54 配置文件(redis.conf): 192.168.1.52: daemonize yes pidfile "/

redis 主从同步&哨兵模式&codis

原文:redis 主从同步&哨兵模式&codis 主从同步 1.CPA原理 1. CPA原理是分布式存储理论的基石: C(一致性):   A(可用性):  P(分区容忍性); 2. 当主从网络无法连通时,修改操作无法同步到节点,所以"一致性"无法满足 3. 除非我们牺牲"可用性",也就是暂停分布式节点服务,不再提供修改数据功能,知道网络恢复 一句话概括CAP: 当网络分区发生时,一致性 和 可用性 两难全 2.redis主从同步介绍 1. 和MySQ

Redis高可用方案(redis主从+keepalived+sentinel)

架构:redis主从+keepalived+sentinel 三台机器,两台redis主从,一台配合选举sentinel leader机器. Master:  192.168.100.135    controller         部署redis+keepalived+sentinel Slave:  192.168.100.136     web-nb-136     部署redis+keepalived+sentinel 配合sentinel:  192.168.100.128    

利用Redis Sentinel实现redis主从自动切换

redis主从配置很简单,只需要在slave的配置里加slaveof 192.168.0.100 6379(master的ip和端口) 如果master有密码再设置 masterauth password.主从设置以后要提高可靠性就要用到Sentinel. Sentinel主要作用有 监控.Sentinel不断检查Master和Slave是否工作正常. 通知.Sentinel可以通过API通知系统管理员,另一台计算机程序,受监控的Redis实例有问题. 自动故障切换.如果主机不按预期工作,Sen