Redis主从实现读写分离

前言

大家在工作中可能会遇到这样的需求,即Redis读写分离,目的是为了压力分散化。下面我将为大家介绍借助AWS的ELB实现读写分离,以写主读从为例。

实现

引用库文件

    <!-- redis客户端 -->
    <dependency>
      <groupId>redis.clients</groupId>
      <artifactId>jedis</artifactId>
      <version>2.6.2</version>
    </dependency>

方式一,借助切面

JedisPoolSelector

此类的目的是为读和写分别配置不同的注解,用来区分是主还是从。

package com.silence.spring.redis.readwriteseparation;

import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;

/**
 * Created by keysilence on 16/10/26.
 */
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface JedisPoolSelector {

    String value();

}

JedisPoolAspect

此类的目的是针对主和从的注解,进行动态链接池调配,即主的使用主链接池,从的使用从连接池。

package com.silence.spring.redis.readwriteseparation;

import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.aspectj.lang.annotation.Pointcut;
import org.aspectj.lang.reflect.MethodSignature;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import redis.clients.jedis.JedisPool;

import javax.annotation.PostConstruct;
import java.lang.reflect.Method;
import java.util.Date;

/**
 * Created by keysilence on 16/10/26.
 */
@Aspect
public class JedisPoolAspect implements ApplicationContextAware {

    private ApplicationContext ctx;

    @PostConstruct
    public void init() {
        System.out.println("jedis pool aspectj started @" + new Date());
    }

    @Pointcut("execution(* com.silence.spring.redis.readwriteseparation.util.*.*(..))")
    private void allMethod() {

    }

    @Before("allMethod()")
    public void before(JoinPoint point)
    {
        Object target = point.getTarget();
        String method = point.getSignature().getName();

        Class classz = target.getClass();

        Class<?>[] parameterTypes = ((MethodSignature) point.getSignature())
                .getMethod().getParameterTypes();
        try {
            Method m = classz.getMethod(method, parameterTypes);
            if (m != null && m.isAnnotationPresent(JedisPoolSelector.class)) {
                JedisPoolSelector data = m
                        .getAnnotation(JedisPoolSelector.class);
                JedisPool jedisPool = (JedisPool) ctx.getBean(data.value());
                DynamicJedisPoolHolder.putJedisPool(jedisPool);
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        this.ctx = applicationContext;
    }

}

DynamicJedisPoolHolder

此类目的是存储当前使用的JedisPool,即上面类赋值后的结果保存。

package com.silence.spring.redis.readwriteseparation;

import redis.clients.jedis.JedisPool;

/**
 * Created by keysilence on 16/10/26.
 */
public class DynamicJedisPoolHolder {

    public static final ThreadLocal<JedisPool> holder = new ThreadLocal<JedisPool>();

    public static void putJedisPool(JedisPool jedisPool) {
        holder.set(jedisPool);
    }

    public static JedisPool getJedisPool() {
        return holder.get();
    }

}

RedisUtils

此类目的是对Redis具体的调用,里面包含使用主还是从的方式调用。

package com.silence.spring.redis.readwriteseparation.util;

import com.silence.spring.redis.readwriteseparation.DynamicJedisPoolHolder;
import com.silence.spring.redis.readwriteseparation.JedisPoolSelector;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Created by keysilence on 16/10/26.
 */
public class RedisUtils {
    private static Logger logger = LoggerFactory.getLogger(RedisUtils.class);

    @JedisPoolSelector("master")
    public String setString(final String key, final String value) {

        String ret = DynamicJedisPoolHolder.getJedisPool().getResource().set(key, value);
        System.out.println("key:" + key + ",value:" + value + ",ret:" + ret);

        return ret;
    }

    @JedisPoolSelector("slave")
    public String get(final String key) {

        String ret = DynamicJedisPoolHolder.getJedisPool().getResource().get(key);
        System.out.println("key:" + key + ",ret:" + ret);

        return ret;
    }

}

spring-datasource.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop.xsd">

    <bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <!-- 池中最大链接数 -->
        <property name="maxTotal" value="100"/>
        <!-- 池中最大空闲链接数 -->
        <property name="maxIdle" value="50"/>
        <!-- 池中最小空闲链接数 -->
        <property name="minIdle" value="20"/>
        <!-- 当池中链接耗尽,调用者最大阻塞时间,超出此时间将跑出异常。(单位:毫秒;默认为-1,表示永不超时) -->
        <property name="maxWaitMillis" value="1000"/>
        <!-- 参考:http://biasedbit.com/redis-jedispool-configuration/ -->
        <!-- 调用者获取链接时,是否检测当前链接有效性。无效则从链接池中移除,并尝试继续获取。(默认为false) -->
        <property name="testOnBorrow" value="true" />
        <!-- 向链接池中归还链接时,是否检测链接有效性。(默认为false) -->
        <property name="testOnReturn" value="true" />
        <!-- 调用者获取链接时,是否检测空闲超时。如果超时,则会被移除(默认为false) -->
        <property name="testWhileIdle" value="true" />
        <!-- 空闲链接检测线程一次运行检测多少条链接 -->
        <property name="numTestsPerEvictionRun" value="10" />
        <!-- 空闲链接检测线程检测周期。如果为负值,表示不运行检测线程。(单位:毫秒,默认为-1) -->
        <property name="timeBetweenEvictionRunsMillis" value="60000" />
        <!-- 链接获取方式。队列:false;栈:true -->
        <!--<property name="lifo" value="false" />-->
    </bean>

    <bean id="master" class="redis.clients.jedis.JedisPool">
        <constructor-arg index="0" ref="poolConfig"/>
        <constructor-arg index="1" value="192.168.100.110" type="java.lang.String"/>
        <constructor-arg index="2" value="6379" type="int"/>
    </bean>

    <bean id="slave" class="redis.clients.jedis.JedisPool">
        <constructor-arg index="0" ref="poolConfig"/>
        <!-- 此处Host配置成ELB地址 -->
        <constructor-arg index="1" value="192.168.100.110" type="java.lang.String"/>
        <constructor-arg index="2" value="6380" type="int"/>
    </bean>

    <bean id="redisUtils" class="com.silence.spring.redis.readwriteseparation.util.RedisUtils">
    </bean>

    <bean id="jedisPoolAspect" class="com.silence.spring.redis.readwriteseparation.JedisPoolAspect" />

    <aop:aspectj-autoproxy proxy-target-class="true"/>

</beans>

Test

package com.silence.spring.redis.readwriteseparation;

import com.silence.spring.redis.readwriteseparation.util.RedisUtils;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;

/**
 * Created by keysilence on 16/10/26.
 */
public class Test {

    public static void main(String[] args) {

        ApplicationContext ctx = new ClassPathXmlApplicationContext("spring-datasource.xml");

        System.out.println(ctx);

        RedisUtils redisUtils = (RedisUtils) ctx.getBean("redisUtils");
        redisUtils.setString("aaa", "111");

        System.out.println(redisUtils.get("aaa"));
    }

}

方式二,依赖注入

与方式一类似,但是需要写死具体使用主的池还是从的池,思路如下:

放弃注解的方式,直接将主和从的两个链接池注入到具体实现类中。

RedisUtils

package com.silence.spring.redis.readwriteseparation.util;

import com.silence.spring.redis.readwriteseparation.DynamicJedisPoolHolder;
import com.silence.spring.redis.readwriteseparation.JedisPoolSelector;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.JedisPool;

/**
 * Created by keysilence on 16/10/26.
 */
public class RedisUtils {
    private static Logger logger = LoggerFactory.getLogger(RedisUtils.class);

    private JedisPool masterJedisPool;

    private JedisPool slaveJedisPool;

    public void setMasterJedisPool(JedisPool masterJedisPool) {
        this.masterJedisPool = masterJedisPool;
    }

    public void setSlaveJedisPool(JedisPool slaveJedisPool) {
        this.slaveJedisPool = slaveJedisPool;
    }

    public String setString(final String key, final String value) {

        String ret = masterJedisPool.getResource().set(key, value);
        System.out.println("key:" + key + ",value:" + value + ",ret:" + ret);

        return ret;
    }

    public String get(final String key) {

        String ret = slaveJedisPool.getResource().get(key);
        System.out.println("key:" + key + ",ret:" + ret);

        return ret;
    }

}

spring-datasource.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop.xsd">

    <bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <!-- 池中最大链接数 -->
        <property name="maxTotal" value="100"/>
        <!-- 池中最大空闲链接数 -->
        <property name="maxIdle" value="50"/>
        <!-- 池中最小空闲链接数 -->
        <property name="minIdle" value="20"/>
        <!-- 当池中链接耗尽,调用者最大阻塞时间,超出此时间将跑出异常。(单位:毫秒;默认为-1,表示永不超时) -->
        <property name="maxWaitMillis" value="1000"/>
        <!-- 参考:http://biasedbit.com/redis-jedispool-configuration/ -->
        <!-- 调用者获取链接时,是否检测当前链接有效性。无效则从链接池中移除,并尝试继续获取。(默认为false) -->
        <property name="testOnBorrow" value="true" />
        <!-- 向链接池中归还链接时,是否检测链接有效性。(默认为false) -->
        <property name="testOnReturn" value="true" />
        <!-- 调用者获取链接时,是否检测空闲超时。如果超时,则会被移除(默认为false) -->
        <property name="testWhileIdle" value="true" />
        <!-- 空闲链接检测线程一次运行检测多少条链接 -->
        <property name="numTestsPerEvictionRun" value="10" />
        <!-- 空闲链接检测线程检测周期。如果为负值,表示不运行检测线程。(单位:毫秒,默认为-1) -->
        <property name="timeBetweenEvictionRunsMillis" value="60000" />
        <!-- 链接获取方式。队列:false;栈:true -->
        <!--<property name="lifo" value="false" />-->
    </bean>

    <bean id="masterJedisPool" class="redis.clients.jedis.JedisPool">
        <constructor-arg index="0" ref="poolConfig"/>
        <constructor-arg index="1" value="192.168.100.110" type="java.lang.String"/>
        <constructor-arg index="2" value="6379" type="int"/>
    </bean>

    <bean id="slaveJedisPool" class="redis.clients.jedis.JedisPool">
        <constructor-arg index="0" ref="poolConfig"/>
        <constructor-arg index="1" value="192.168.100.110" type="java.lang.String"/>
        <constructor-arg index="2" value="6380" type="int"/>
    </bean>

    <bean id="redisUtils" class="com.silence.spring.redis.readwriteseparation.util.RedisUtils">
        <property name="masterJedisPool" ref="masterJedisPool"/>
        <property name="slaveJedisPool" ref="slaveJedisPool"/>
    </bean>

</beans>
时间: 2024-10-09 20:53:05

Redis主从实现读写分离的相关文章

Redis主从复制(读写分离)

主从复制(读写分离):读在从库读,写在主库写. 主从复制的好处:避免redis单点故障构建读写分离架构,满足读多写少的需求. 主从架构: 操作(启动实例,在一台机器上启动不同的实例,进行伪主从复制):1.复制配置文件,修改配置文件,启动6379,6380,6381三个实例: 2.设置主从在redis中设置主从有两种方式:(1)在redis.conf中设置slaveof(永久)(2)使用redis客户端连接到服务,执行salveod命令(临时) 3.查看主从信息,使用 INFO replicati

Mysql主从配置+读写分离(转)

   MySQL从5.5版本开始,通过./configure进行编译配置方式已经被取消,取而代之的是cmake工具.因此,我们首先要在系统中源码编译安装cmake工具. 注:安装前须查看是否已经安装了如下依赖包,如果没有请安装. apt-get -y install gcc g++ libncurses5-dev ncurses-devel openssl 一.主库安装及配置 1.源码安装cmake # tar xf cmake-3.0.0.tar.gz # cd cmake-3.0.0 # .

Mysql主从配置+读写分离

Mysql主从配置+读写分离     MySQL从5.5版本开始,通过./configure进行编译配置方式已经被取消,取而代之的是cmake工具.因此,我们首先要在系统中源码编译安装cmake工具. 注:安装前须查看是否已经安装了如下依赖包,如果没有请安装. apt-get -y install gcc g++ libncurses5-dev ncurses-devel openssl   一.主库安装及配置 1.源码安装cmake # tar xf cmake-3.0.0.tar.gz #

Yii框架数据库多数据库、主从、读写分离

Yii框架数据库多数据库.主从.读写分离 实现 功能描述:1.实现主从数据库读写分离 主库:写 从库(可多个):读2.主数据库无法连接时 可设置从数据库是否 可写3.所有从数据库无法连接时 可设置主数据库是否 可读4.如果从数据库连接失败 可设置N秒内不再连接 利用yii扩展实现: <?php /**  * 主数据库 写 从数据库(可多个)读  * 实现主从数据库 读写分离 主服务器无法连接 从服务器可切换写功能  * 从务器无法连接 主服务器可切换读功  * by lmt  * */ clas

mycat基础实验之主从配置读写分离和分表

mycat实验之主从配置读写分离和分表 架构图: 1.实验环境: vmware虚机3个   (虚机太少了,电脑有点吃力,3个虚机只能达到基本的测试) 系统centos7     (实验是关闭防火墙和selinux做的) mysql版本5.7 mycat版本1.6 虚机名字和ip: mysql1 192.168.211.138 mysql2 192.168.211.139 mysql3 192.168.211.142 mycat安装在mysql1(192.168.211.138) 这台主机须能够解

分库分表、主从、读写分离

每天学习一点点 编程PDF电子书.视频教程免费下载: http://www.shitanlife.com/code 1. 漫谈 在进入正题之前,我想先随意谈谈对架构的拓展周期的想法(仅个人观点).首先,我认为初期规划不该太复杂或者庞大,无论项目的中长期可能会发展地如何如何,前期都应该以灵活为优先,像分库分表等操作不应该在开始的时候就考虑进去.其次,我认为需求变更是非常正常的,这点在我等开发的圈子里吐槽的最多,其中自然有 "领导们" 在业务方面欠缺整体考虑的因素,但我们也不该局限在一个观

DBA 小记 — 分库分表、主从、读写分离

前言 我在上篇博客 "Spring Boot 的实践与思考" 中比对不同规范的 ORM 框架应用场景的时候提到过主从与读写分离,本篇随笔将针对此和分库分表进行更深入地探讨. 1. 漫谈 在进入正题之前,我想先随意谈谈对架构的拓展周期的想法(仅个人观点).首先,我认为初期规划不该太复杂或者庞大,无论项目的中长期可能会发展地如何如何,前期都应该以灵活为优先,像分库分表等操作不应该在开始的时候就考虑进去.其次,我认为需求变更是非常正常的,这点在我等开发的圈子里吐槽的最多,其中自然有 &quo

搭建Mysql-proxy实现主从同步读写分离

代理服务器 Wg61 192.168.0.180 (Mysql-proxy)主服务器 Wg62 192.168.0.142 (负责写入数据)从服务器 Wg63 192.168.0.156 (负责只读数据) 实验思路: 下载Mysql-proxy,在代理服务器Wg61上安装lua语言 Wg61安装proxy,添加/etc/profile的环境变量参数 修改proxy配置文件参数,测试读写分离 搭建主从服务器,创建测试数据库表并授权用户访问权限 启动Mysql-proxy测试读写分离 测试从服务器挂

Spring+Mybatis实现主从数据库读写分离

Spring+Mybatis实现主从数据库读写分离 采用配置+注解的方式. 自定义@DataSource注解 import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; @Retention(RetentionPolicy.RUNTIME