Redis操作篇(二)

redis的发布与订阅,主从架构,哨兵架构,cluster集群

下载编译安装redis

# 1. 下载redis
    wget http://download.redis.io/releases/redis-4.0.10.tar.gz

# 2. 解压缩
    tar  -zxvf redis-4.0.10.tar.gz  

# 3.进入源代码, 开始编译安装
    cd  redis-4.0.10

    执行: make  && make install

# 4.启动redis服务 和客户端
    /usr/local/bin/redis-server
    /usr/local/bin/redis-cli

redis的发布和订阅

# PUBLISH channel msg
    将信息 message 发送到指定的频道 channel

# SUBSCRIBE channel [channel ...]
    订阅频道，可以同时订阅多个频道

# UNSUBSCRIBE [channel ...]
    取消订阅指定的频道, 如果不指定频道，则会取消订阅所有频道
# PSUBSCRIBE pattern [pattern ...]
    订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所    有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配所有    以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类

# PUNSUBSCRIBE [pattern [pattern ...]]
    退订指定的规则, 如果没有参数则会退订所有规则

# PUBSUB subcommand [argument [argument ...]]
    查看订阅与发布系统状态
注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。
# 练习发布与订阅
# 开启两个客户端
    # 客户端 1
    127.0.0.1:6379> PSUBSCRIBE music  # 订阅一个music频道

    # 客户端 2
    127.0.0.1:6379> PUBLISH music  singsong  # 给music频道发送信息

redis的持久化 rdb 和 aof

# 前言:
    Redis是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。

RBD模式

#### RDB 模式
    RDB(持久化)
    内存数据保存到磁盘
    在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）
    优点：速度快，适合做备份，主从复制就是基于RDB持久化功能实现
    rdb通过再redis中使用save命令触发 rdb

    rdb配置参数：

    dir /data/6379/
    dbfilename  dbmp.rdb

    每过900秒 有1个操作就进行持久化

    save 900秒  1个修改类的操作
    save 300秒  10个操作
    save 60秒  10000个操作

    save  900 1
    save 300 10
    save 60  10000
# rdb 配置文件
    daemonize yes
    port 6379
    logfile /data/6379/redis.log
    dir /data/6379              #定义持久化文件存储位置
    dbfilename  dbmp.rdb        #rdb持久化文件
    bind 10.0.0.10  127.0.0.1    #redis绑定地址
    requirepass redhat            #redis登录密码
    save 900 1                    #rdb机制 每900秒 有1个修改记录
    save 300 10                    #每300秒        10个修改记录
    save 60  10000                #每60秒内        10000修改记录

AOF模式

# AOF（append-only log file）
    记录服务器执行的所有变更操作命令（例如set del等），并在服务器启动时，通过重新执行这些命令来还原数据集
# AOF 文件中的命令全部以redis协议的格式保存，新命令追加到文件末尾。
    优点：最大程序保证数据不丢
    缺点：日志记录非常大

# AOF持久化配置，两条参数
    appendonly yes
    appendfsync  always    总是修改类的操作
                 everysec   每秒做一次持久化
                 no     依赖于系统自带的缓存大小机制
# aof配置文件
    daemonize yes
    port 6379
    logfile /data/6379/redis.log
    dir /data/6379
    dbfilename  dbmp.rdb
    requirepass redhat
    save 900 1
    save 300 10
    save 60  10000
    appendonly yes
    appendfsync everysec

redis 持久化方式有哪些？有什么区别？

rdb：基于' 快照的持久化 ' ，速度更快，一般用作备份，主从复制也是依赖于rdb持久化功能

aof：' 以追加的方式记录 ' redis操作日志的文件。可以最大程度的保证redis数据安全，类似于mysql的binlog

主从同步

原理：
    1. 从服务器向主服务器发送 SYNC 命令。
    2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。
    3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。
    4. 主服务器将缓冲区储存的所有写命令发送给从服务器执行。

主从总结:
    1、在开启主从复制的时候，使用的是RDB方式的，同步主从数据的
    2、同步开始之后，通过主库命令传播的方式，主动的复制方式实现
    3、2.8以后实现PSYNC的机制，实现断线重连
### 主库可读可写, 从库只能读

# 实践操作
    # 1. 6079.conf
        vim   /data/6379/redis.conf
        port 6379
        daemonize yes
        pidfile /data/6379/redis.pid
        loglevel notice
        logfile "/data/6379/redis.log"
        dbfilename dump.rdb
        dir /data/6379
        protected-mode no
    # 2. 6380.conf
        vim   /data/6380/redis.conf
        port 6380
        daemonize yes
        pidfile /data/6380/redis.pid
        loglevel notice
        logfile "/data/6380/redis.log"
        dbfilename dump.rdb
        dir /data/6380
        protected-mode no

# 1. 创建文件夹
    mkdir -p   /data/{6380,6379,6381}/
# 2. 启动redis
     redis-server 6381.conf
     redis-server 6380.conf
     redis-server 6379.conf

# 3. 查看当前redis客户端的信息
     # 进入交互 模式 / 不进入也可以
     info
     info replication

# 4. 设置从库
    SLAVEOF 127.0.0.1 6380

# 5.  手动切换 从--->主
    slaveof no one

哨兵集群

## 参考博客:
    https://www.cnblogs.com/pyyu/p/9718679.html

Redis-Sentinel主从复制高可用

    1. Redis-Sentinel是redis官方推荐的高可用性解决方案，
    2. 当用redis作master-slave的高可用时，如果master本身宕机，redis本身或者客户端都没有实现主从切换的功能。

    3. 而redis-sentinel就是一个独立运行的进程，用于监控多个master-slave集群，
    4. 自动发现master宕机，进行自动切换slave > master。

#### Sentinel 主要功能
    1. 不时的监控redis是否良好运行，如果节点不可达就会对节点进行下线标识
    2. 如果被标识的是主节点，sentinel就会和其他的sentinel节点“协商”，如果其他节点也人为主节点不可达，就会选举一个sentinel节点来完成自动故障转义
    3. 在master-slave进行切换后，master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生改变，即master_redis.conf中会多一行slaveof的配置，sentinel.conf的监控目标会随之调换
#### Sentinel的工作方式：

    每个Sentinel以每秒钟一次的频率向它所知的Master，Slave以及其他 Sentinel 实例发送一个 PING 命令

    如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel 标记为主观下线。

    如果一个Master被标记为主观下线，则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。

    当有足够数量的 Sentinel（大于等于配置文件指定的值）在指定的时间范围内确认Master的确进入了主观下线状态， 则Master会被标记为客观下线

    在一般情况下， 每个 Sentinel 会以每 10 秒一次的频率向它已知的所有Master，Slave发送 INFO 命令

    当Master被 Sentinel 标记为客观下线时，Sentinel 向下线的 Master 的所有 Slave 发送 INFO 命令的频率会从 10 秒一次改为每秒一次

    若没有足够数量的 Sentinel 同意 Master 已经下线， Master 的客观下线状态就会被移除。

    若 Master 重新向 Sentinel 的 PING 命令返回有效回复， Master 的主观下线状态就会被移除。

    主观下线和客观下线

    主观下线：Subjectively Down，简称 SDOWN，指的是当前 Sentinel 实例对某个redis服务器做出的下线判断。
    客观下线：Objectively Down， 简称 ODOWN，指的是多个 Sentinel 实例在对Master Server做出 SDOWN 判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，然后开启failover.

    SDOWN适合于Master和Slave，只要一个 Sentinel 发现Master进入了ODOWN， 这个 Sentinel 就可能会被其他 Sentinel 推选出， 并对下线的主服务器执行自动故障迁移操作。

    ODOWN只适用于Master，对于Slave的 Redis 实例，Sentinel 在将它们判断为下线前不需要进行协商， 所以Slave的 Sentinel 永远不会达到ODOWN。

redis主从复制背景问题

Redis主从复制可将主节点数据同步给从节点，从节点此时有两个作用：

    1. 一旦主节点宕机，从节点作为主节点的备份可以随时顶上来。
    2. 扩展主节点的读能力，分担主节点读压力。
但是问题是：

    3. 一旦主节点宕机，从节点上位，那么需要人为修改所有应用方的主节点地址（改为新的master地址），还需要命令所有从节点复制新的主节点

redis-sentinel就可以解决了

主从复制架构

#### 实操 redis 哨兵

# 1. 3台redis.conf : 6379 6380 6381
    配置如下:
    # 6379redis.conf
        port 6379  # 指定端口
        daemonize yes # 守护进程模式
        logfile "6379.log"  # 日志文件
        dbfilename "dump-6379.rdb" # 数据文件
        dir "/var/redis/data/" #  记录日志文件和数据的位置

    # 6380redis.conf
        port 6380
        daemonize yes
        logfile "6380.log"
        dbfilename "dump-6380.rdb"
        dir "/var/redis/data/"
        slaveof  127.0.0.1  6379

    # 6381redis.conf
        port 6381
        daemonize yes
        logfile "6381.log"
        dbfilename "dump-6381.rdb"
        dir "/var/redis/data/"
        slaveof  127.0.0.1  6379        

# 2. 3台 哨兵配置
    # 26379redis-sentinel.conf
        port 26379
        dir /var/redis/data/
        logfile "26379.log"

        // 当前Sentinel节点监控 192.168.119.10:6379 这个主节点
        // 2代表判断主节点失败至少需要2个Sentinel节点节点同意
        // mymaster是主节点的别名

        sentinel monitor s23sbredis  127.0.0.1  6379  2

        //每个Sentinel节点都要定期PING命令来判断Redis数据节点和其余Sentinel节点是否可达，如果超过30000毫秒30s且没有回复，则判定不可达
        sentinel down-after-milliseconds s23sbredis 30000

        //当Sentinel节点集合对主节点故障判定达成一致时，Sentinel领导者节点会做故障转移操作，选出新的主节点，
        原来的从节点会向新的主节点发起复制操作，限制每次向新的主节点发起复制操作的从节点个数为1
        sentinel parallel-syncs s23sbredis  1

        //故障转移超时时间为180000毫秒
        sentinel failover-timeout s23sbredis  180000
        daemonize yes 

    # 26380redis-sentinel.conf
        port 26380
        dir /var/redis/data/
        logfile "26380.log"
        sentinel monitor s23sbredis  127.0.0.1  6379  2
        sentinel down-after-milliseconds s23sbredis 30000
        sentinel parallel-syncs s23sbredis 1
        sentinel failover-timeout s23sbredis 180000
        daemonize yes 

    # 26381redis-sentinel.conf
        port 26381
        dir /var/redis/data/
        logfile "26381.log"
        sentinel monitor s23sbredis  127.0.0.1  6379  2
        sentinel down-after-milliseconds s23sbredis 30000
        sentinel parallel-syncs s23sbredis 1
        sentinel failover-timeout s23sbredis 180000
        daemonize yes 

### 可以 利用sed 命令 快速生成多分文件
    sed "s/26379/26380/g" 26379redis-sentinel.conf  >26380redis-sentinel.conf

# 3. 创建文件夹

    mkdir -p /var/redis/data/

# 4. redis 服务  和  启动 redis哨兵
    redis-server 6379redis.conf
    redis-server 6380redis.conf
    redis-server 6381redis.conf 

    redis-sentinel 26379redis-sentinel.conf
    redis-sentinel 26380redis-sentinel.conf
    redis-sentinel 26381redis-sentinel.conf

### 注意, 一旦启动了哨兵, 哨兵的配置文件就会被redis服务更改.

redis-cluster集群

# 配置6个文件
# 准备6匹马，6个redis数据库节点，准备6个配置文件，6个配置文件，仅仅是端口的区别，

    # redis-7000.conf
    port 7000
    daemonize yes
    dir "/opt/redis/data"
    logfile "7000.log"
    dbfilename "dump-7000.rdb"
    cluster-enabled yes   #开启集群模式
    cluster-config-file nodes-7000.conf　　#集群内部的配置文件
    cluster-require-full-coverage no　　#redis cluster需要16384个slot都正常的时候才能对外提供服务，换句话说，只要任何一个slot异常那么整个cluster不对外提供服务。 因此生产环境一般为no

    redis-7001.conf
    redis-7002.conf
    redis-7003.conf
    redis-7004.conf
    redis-7005.conf 

#分别运行6个redis的节点

    redis-server 7000redis.conf
    redis-server 7001redis.conf
    redis-server 7002redis.conf
    redis-server 7003redis.conf
    redis-server 7004redis.conf
    redis-server 7005redis.conf

# 1.安装ruby语言 一键分配 槽位
    yum  install ruby -y

# 2. 安装管理 ruby gem 的管理工具
    wget http://rubygems.org/downloads/redis-3.3.0.gem
    gem install -l redis-3.3.0.gem

# 3. 找到 redis-trib.rb的位置
    find / -name  redis-trib.rb

# 4. 分配槽位
redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 

# 5. 查看集群的状态
    redis-cli -p 7000 cluster info  

    redis-cli -p 7000 cluster nodes  #等同于查看nodes-7000.conf文件节点信息

    集群主节点状态
    redis-cli -p 7000 cluster nodes | grep master
    集群从节点状态
    redis-cli -p 7000 cluster nodes | grep slave

# 6.  -c 开启集群
    redis-cli -c -p 7000
https://www.cnblogs.com/pyyu/p/9844093.html
# 额外:
    1. 利用 python 操作redis 哨兵
    2. 利用 redis替换 Django的session 

# 参考:https://www.cnblogs.com/pyyu/p/10015776.html

原文地址：https://www.cnblogs.com/dengl/p/12008232.html

时间： 2024-10-25 19:25:11

Redis操作篇(二)的相关文章

redis操作篇

操作 String操作,redis中的String在在内存中按照一个name对应一个value来存储.如图: set(name, value, ex=None, px=None, nx=False, xx=False) 在Redis中设置值,默认,不存在则创建,存在则修改 参数:      ex,过期时间(秒)      px,过期时间(毫秒)      nx,如果设置为True,则只有name不存在时,当前set操作才执行      xx,如果设置为True,则只有name存在时,岗前set操

MongoDB Sharding学习操作篇二

接上一篇 14.配置集群中的balancer进程 balancer进程运行在集群中的某一个mongos实例上,确保chunks均匀分布在整个集群上. 更改指定shard的最大存储大小

linux文件操作篇 (二) 打开和关闭文件

2.1 打开文件和关闭文件 #include <sys/types.h>#include <sys/stat.h>#include <fcntl.h>  头文件 int open(const char *pathname, int flags); 打开一个文件 int close(int fildes); 关闭一个文件 intopen(constchar*pathname, intflags);//const char *pathname 是要打开的文件路径//int

使用Spring Data Redis操作Redis（二）

上一篇讲述了Spring Date Redis操作Redis的大部分主题,本篇介绍Redis的订阅和发布功能在Spring应用中的使用. 1. Redis的Pub/Sub命令 Redis的订阅和发布服务有如下图6个命令,下面分别对每个命令做简单说明. publish: 向指定的channel(频道)发送message(消息) subscribe:订阅指定channel,可以一次订阅多个 psubscribe:订阅指定pattern(模式,具有频道名的模式匹配)的频道 unsubscribe:取消

【二毛SEO教程】【操作篇完结】第十一课：SEO操作-外链的操作

操作流程:站内优化+外链+疑难问题解答+跟踪 一.  外链有哪些形式? 锚文本>超链接>文本链接(5:3:2) 百度 www.baidu.com (提升整站的一个权重)www.baidu.com 自然型SEO 注意: 1.外链要自然!不要全部发首页,很快会被降权. 2.注意外链平台(尽量高权重)和内容的相关性. 3.不要老在一个论坛发,高权重多论坛结合. 新站,或者老站,内容页和首页 10首页,再3条内页结合 二.  什么样的外链最有价值?作用最大? 1. 相关性(外链平台) 2. 外链内容相

Redis学习（二）、JAVA操作Redis

Redis学习(二).JAVA操作Redis 一.测试连接Redis是否连通 1.导包 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> 2.写一个RedisJava类测试 package cn.qiuuuu.redis; impo

Mysql优化（出自官方文档） - 第十二篇（优化锁操作篇）

目录 Mysql优化(出自官方文档) - 第十二篇(优化锁操作篇) 1 Internal Locking Methods 2 Metadata Locking 3 External Locking Mysql优化(出自官方文档) - 第十二篇(优化锁操作篇) 1 Internal Locking Methods 这里介绍Mysql的几种锁,该锁由Mysql自行进行管理,用户不需要处理该锁. Row-Level Locking 对于InnoDB,行锁可以通过SELECT ... FOR UPDAT

.net redis数据缓存（二） redis操作List集合带分页

1.编写一个简单的redishelper类库,封装ServiceStack.Redis 1 public class RedisHelper 2 { 3 #region 基本用户名密码,使用配置文件 4 /// <summary> 5 /// 写入redis服务器的ip+port 6 /// </summary> 7 public static string WriteServerList = ConfigurationManager.AppSettings["Write

使用Spring Data Redis操作Redis（集群版）

继上一篇文章http://www.cnblogs.com/EasonJim/p/7804545.html使用Spring Data Redis操作Redis用的是单机版,如果是集群版的集成其实差别不大.主要思路如下: 1.先建立连接工厂,这个连接工厂是用来设置IP,端口,账号密码等.(在这一步时,传递一个集群的地址列表,不再是单独一个去指定) 2.通过连接工厂建立Session. 3.然后在代码上注入Session进行使用. 简要实现步骤,操作的方法和单机版的类似: 一.使用spring-dat