一 什么是主从复制
机器故障;容量瓶颈;QPS瓶颈
一主一从,一主多从
做读写分离
做数据副本
扩展数据性能
一个maskter可以有多个slave
一个slave只能有一个master
数据流向是单向的,从master到slave
二 复制的 配置
2.1 slave 命令
6380是从,6379是主 ? 在6389上执行 ? slave of 127.0.0.1 6379 #异步 slaveof no one #取消复制,不会把之前的数据清除
2.2 配置文件
slaveof ip port #配置从节点ip和端口 slave-read-only yes #从节点只读,因为可读可写,数据会乱 ? ‘‘‘ mkdir -p redis1/conf redis1/data redis2/conf redis2/data redis3/conf redis3/data vim redis.conf ? daemonize no pidfile redis.pid bind 0.0.0.0 protected-mode no port 6379 timeout 0 logfile redis.log dbfilename dump.rdb dir /data slaveof 10.0.0.101 6379 slave-read-only yes ? ? cp redis.conf /home/redis2/conf/ ? ? docker run -p 6379:6379 --name redis_6379 -v /home/redis1/conf/redis.conf:/etc/redis/redis.conf -v /home/redis1/data:/data -d redis redis-server /etc/redis/redis.conf ? docker run -p 6378:6379 --name redis_6378 -v /home/redis2/conf/redis.conf:/etc/redis/redis.conf -v /home/redis2/data:/data -d redis redis-server /etc/redis/redis.conf ? docker run -p 6377:6379 --name redis_6377 -v /home/redis3/conf/redis.conf:/etc/redis/redis.conf -v /home/redis3/data:/data -d redis redis-server /etc/redis/redis.conf ? info replication ? ‘‘‘
四 故障处理
slave故障
master故障
五 复制常见问题
1 读写分离
读流量分摊到从节点
可能遇到问题:复制数据延迟,读到过期数据,从节点故障
2 主从配置不一致
maxmemory不一致:丢失数据
数据结构优化参数:主节点做了优化,从节点没有设置优化,会出现一些问题
3 规避全量复制
第一次全量复制,不可避免:小主节点,低峰(夜间)
节点运行id不匹配:主节点重启(运行id变化)
复制挤压缓冲区不足:增大复制缓冲区大小,rel_backlog_size
4 规避复制风暴
单主节点复制风暴,主节点重启,所有从节点复制
一 主从复制高可用
#主从复制存在的问题:#1 主从复制,主节点发生故障,需要做故障转移,可以手动转移:让其中一个slave变成master#2 主从复制,只能主写数据,所以写能力和存储能力有限
二 架构说明
可以做故障判断,故障转移,通知客户端(其实是一个进程),客户端直接连接sentinel的地址
1 多个sentinel发现并确认master有问题
2 选举触一个sentinel作为领导
3 选取一个slave作为新的master
4 通知其余slave成为新的master的slave
5 通知客户端主从变化
6 等待老的master复活成为新master的slave
三 安装配置
1 配置开启主从节点 2 配置开启sentinel监控主节点(sentinel是特殊的redis) 3 应该是多台机器 #配置开启sentinel监控主节点 mkdir -p redis4/conf redis4/data redis5/conf redis5/data redis6/data redis6/conf ? vi sentinel.conf ? ? port 26379 daemonize no dir /data protected-mode no bind 0.0.0.0 logfile "redis_sentinel.log" sentinel monitor mymaster 10.0.0.1 6379 2 sentinel down-after-milliseconds mymaster 30000 sentinel parallel-syncs mymaster 1 sentinel failover-timeout mymaster 180000 ? ? docker run -p 26379:26379 --name redis_26379 -v /home/redis4/conf/sentinel.conf:/etc/redis/sentinel.conf -v /home/redis4/data:/data -d redis redis-sentinel /etc/redis/sentinel.conf ? docker run -p 26378:26379 --name redis_26378 -v /home/redis5/conf/sentinel.conf:/etc/redis/sentinel.conf -v /home/redis5/data:/data -d redis redis-sentinel /etc/redis/sentinel.conf ? docker run -p 26377:26379 --name redis_26377 -v /home/redis6/conf/sentinel.conf:/etc/redis/sentinel.conf -v /home/redis6/data:/data -d redis redis-sentinel /etc/redis/sentinel.conf ? ? ? redis-sentinel sentinel.conf ? info 配置会重写,自动发现slave
四 客户端连接
import redis from redis.sentinel import Sentinel ? # 连接哨兵服务器(主机名也可以用域名) # 10.0.0.101:26379 sentinel = Sentinel([(‘10.0.0.101‘, 26379), (‘10.0.0.101‘, 26378), (‘10.0.0.101‘, 26377) ], socket_timeout=5) ? ? print(sentinel) # 获取主服务器地址 master = sentinel.discover_master(‘mymaster‘) print(master) ? ? ? ? # 获取从服务器地址 slave = sentinel.discover_slaves(‘mymaster‘) print(slave) ? ? ? ? # 获取主服务器进行写入 # master = sentinel.master_for(‘mymaster‘, socket_timeout=0.5) # w_ret = master.set(‘foo‘, ‘bar‘) # # # # # slave = sentinel.slave_for(‘mymaster‘, socket_timeout=0.5) # r_ret = slave.get(‘foo‘) # print(r_ret)
五 实现原理
六 常见问题
原文地址:https://www.cnblogs.com/Gaimo/p/12121837.html
时间: 2024-10-07 04:50:23