dubbo服务+spring动态数据源出错

1:问题描述,以及分析

项目用了spring数据源动态切换,服务用的是dubbo。在运行一段时间后程序异常,更新操作没有切换到主库上。

这个问题在先调用读操作后再调用写操作会出现

经日志分析原因:

第一:当程序运行一段时间后调用duboo服务时..([DubboServerHandler-192.168.1.106:20880-thread-199] [DubboServerHandler-192.168.1.106:20880-thread-200]) dubbo服务默认最大200线程(超过200个线程以后服务不会创建新的线程了),读操作与写操作有可能会在一个线程里(读操作的事务propagation是supports,写是required),当这种情况出现时MethodBeforeAdvice.before先执行,DataSourceSwitcher.setSlave()被调用,然后DynamicDataSource.determineCurrentLookupKey(此方法调用contextHolder.get获取数据源的key)被调用,此时数据源指向从库也就是只读库。当读操作执行完成后,dubbo在同一个线程(thead-200)里执行更新的操作(比如以update,insert开头的服务方法),这时会先执行DynamicDataSource.determineCurrentLookupKey,指向的是读库,然后执行MethodBeforeAdvice.before,DataSourceSwitcher.setMaster()被调用,注意,这时DynamicDataSource.determineCurrentLookupKey不会被再次调用,所以这时数据源仍然指向读库,异常发生了。(写从库了)

DynamicDataSource.determineCurrentLookupKey 与DataSourceSwitcher.setXXX()方法的执行顺序是导致问题的关键,这个跟事务的advice与动态设置数据源的advice执行顺序有关.

2:application.xml配置

<bean id="parentDataSource" class="org.apache.commons.dbcp2.BasicDataSource">    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>    <property name="initialSize" value="20"/>    <property name="maxTotal" value="50"/>    <property name="maxIdle" value="10"/>    <property name="testOnBorrow" value="true"/>    <property name="testWhileIdle" value="true"/>    <property name="testOnReturn" value="true"/>    <property name="defaultAutoCommit" value="false"/></bean><!-- 主数据源--><bean id="masterDataSource" parent="parentDataSource">    <property name="url" value="jdbc:mysql://192.168.60.45:13306/ac_vote?autoReconnect=true&amp;useSSL=false"/>    <property name="username" value="data"/>    <property name="password" value="acfundata"/></bean><!-- 从数据源--><bean id="slaveDataSource" parent="parentDataSource">    <property name="url" value="jdbc:mysql://192.168.60.45:23306/ac_vote?autoReconnect=true&amp;useSSL=false"/>    <property name="username" value="data"/>    <property name="password" value="acfundata"/></bean><!-- 配置自定义动态数据源--><bean id="dataSource" class="tv.acfun.service.common.database.DynamicDataSource">    <property name="targetDataSources">        <map key-type="java.lang.String">            <entry key="slave" value-ref="slaveDataSource" />            <entry key="master" value-ref="masterDataSource" />        </map>    </property>    <property name="defaultTargetDataSource" ref="masterDataSource" /></bean>

<!--开启自动代理功能 true使用CGLIB   --><aop:aspectj-autoproxy proxy-target-class="true"/><!-- 声明AOP 切换数据源通知 类中加@Component 自动扫描xml中不用配<bean>了<bean id="dataSourceAdvice" class="tv.acfun.service.vote.aop.DataSourceAdvice" /> -->
<!-- 配置通知和切点 注意这个一定要配置在事务声明(txAdvice)之前 否则就会出现数据源切换出错  -->
<aop:config>

<aop:advisor
pointcut="execution(* tv.acfun.service.vote.manager.impl.*ManagerImpl.*(..))"
advice-ref="dataSourceAdvice" />
</aop:config>

<!-- 配置事务管理器-->
<bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<property name="dataSource" ref="dataSource" />
</bean>
<!--配置事务的传播特性 -->
<tx:advice id="txAdvice" transaction-manager="transactionManager">
<tx:attributes>
<!-- 对增、删、改方法进行事务支持 -->
<tx:method name="add*" propagation="REQUIRED" />
<tx:method name="create*" propagation="REQUIRED" />
<tx:method name="save*" propagation="REQUIRED"/>
<tx:method name="edit*" propagation="REQUIRED" />
<tx:method name="update*" propagation="REQUIRED" />
<tx:method name="delete*" propagation="REQUIRED" />
<tx:method name="remove*" propagation="REQUIRED" />
<!-- 对查找方法进行只读事务 -->
<tx:method name="find*" propagation="REQUIRED" read-only="true" />
<tx:method name="query*" propagation="SUPPORTS" read-only="true" />
<tx:method name="get*" propagation="SUPPORTS" read-only="true" />
<!-- 对其它方法进行只读事务 -->
<!--<tx:method name="*" propagation="SUPPORTS" read-only="true" />-->
</tx:attributes>
</tx:advice>

<!--开启注解式事务扫描 要开启事务的service实现类中 加上@Transactional注解--><tx:annotation-driven/><!--未开启事务扫描时 需指定aop配置 声明那些类的哪些方法参与事务<aop:config>    <aop:advisor            pointcut="execution(* tv.acfun.service.vote.manager..*Service.*(..))"            advice-ref="txAdvice" />    <aop:advisor            pointcut="execution(* tv.acfun.service.vote.manager..*ServiceImpl.*(..))"            advice-ref="txAdvice" /></aop:config>-->

3. DataSourceAdvice类

@Slf4j@Aspect@Componentpublic class DataSourceAdvice implements MethodBeforeAdvice, AfterReturningAdvice, ThrowsAdvice {

    // service方法执行之前被调用    public void before(Method method, Object[] args, Object target) throws Throwable {       log.info("切入点: " + target.getClass().getName() + "类中" + method.getName() + "方法");       if (method.getName().startsWith("insert") || method.getName().startsWith("create")         || method.getName().startsWith("save") || method.getName().startsWith("edit")         || method.getName().startsWith("update") || method.getName().startsWith("delete")         || method.getName().startsWith("remove")) {           log.info("切换到: master");           DataSourceSwitcher.setMaster();       } else {          log.info("切换到: slave");          DataSourceSwitcher.setSlave();       } }

 // service方法执行完之后被调用 public void afterReturning(Object var1, Method var2, Object[] var3, Object var4) throws Throwable {         DataSourceSwitcher.setMaster(); // *****  加上这句解决运行数据库切换问题 }

 // 抛出Exception之后被调用 public void afterThrowing(Method method, Object[] args, Object target, Exception ex) throws Throwable {     DataSourceSwitcher.setSlave();     log.info("出现异常,切换到: slave"); } 

4. DataSourceSwitcher 类

public class DataSourceSwitcher {

    private static final ThreadLocal contextHolder = new ThreadLocal();

    private static final String DATA_SOURCE_SLAVE = "slave" ;

    public static void setDataSource(String dataSource) {        Assert.notNull(dataSource, "dataSource cannot be null");        contextHolder.set(dataSource);    }

    public static void setMaster(){        clearDataSource();    }

    public static void setSlave() {        setDataSource( DATA_SOURCE_SLAVE);    }

    public static String getDataSource() {        return (String) contextHolder.get();    }

    public static void clearDataSource() {        contextHolder.remove();    }} 

5. DynamicDataSource 类

public class DynamicDataSource extends AbstractRoutingDataSource {

    @Override    protected Object determineCurrentLookupKey() {        return DataSourceSwitcher.getDataSource();    }

}

和 http://my.oschina.net/mrXhuangyang/blog/500743 这个遇到一样问题

时间: 2024-09-30 16:21:30

dubbo服务+spring动态数据源出错的相关文章

Spring动态数据源实现读写分离

一.创建基于ThreadLocal的动态数据源容器,保证数据源的线程安全性 package com.bounter.mybatis.extension; /** * 基于ThreadLocal实现的动态数据源容器,保证DynamicDataSource的线程安全性 * @author simon * */ public class DynamicDataSourceHolder { private static final ThreadLocal<String> dataSourceHolde

集成Dubbo服务(Spring)

Dubbo是什么? Dubbo是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点. Dubbo[]是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案. 其核心部分包含: 远程通讯: 提供对多种基于长连接的NIO框架抽象封装,包括多种线程模型,序列化,以及“请求-响应”模式的信息交换方式. 集群容错: 提供基于接口方法的透明远程过程调用,包括多协议支持,以

spring动态数据源+事务

今天在尝试配置spring的动态数据源和事务管理的时候,遇到了几处配置上的问题,在此记录下: 1.使用了spring的aop思想,实现了动态数据源的切换. 2.spring的事务管理,是基于数据源的,也就是说Transaction是基于SessionFactory的, 所以如果要实现动态数据源切换,而且在同一个数据源中保证事务是起作用的话,就需要注意二者的顺序问题,即:在事务起作用之前就要把数据源切换回来. 3.application-mvc.xml文件扫描时不需要扫描services,避免事务

spring 动态数据源

1.动态数据源:  在一个项目中,有时候需要用到多个数据库,比如读写分离,数据库的分布式存储等等,这时我们要在项目中配置多个数据库. 2.原理:   (1).spring 单数据源获取数据连接过程: DataSource --> SessionFactory --> Session  DataSouce   实现javax.sql.DateSource接口的数据源,  DataSource  注入SessionFactory, 从sessionFactory 获取 Session,实现数据库的

AbstractRoutingDataSource+AOP+JNDI实现spring动态数据源

参考:https://www.cnblogs.com/wyb628/p/7240061.html 背景: 系统已有数据源1(主要数据源),数据源2(只有一个目录的xml使用该数据源),由于这2个数据源分别扫描不同的包,相互不打扰,所以一直用的好好的. 直到,需要新增一个数据源3,跟数据源2用法一模一样的,但是需要在程序中具体用到的时候才能决定具体使用哪一个.所以,基于此,针对数据源2和3实现了动态数据源. 思路: sessionFactory的dataSource属性设置成能从代码中动态读取,继

【sping揭秘】21、Spring动态数据源的切换

对于多个数据源的时候,我们如何切换不同的数据源进行数据库的操作呢? 当然我们可以直接定义2个DataSource,然后在每次获取connection的时候,从不同的DataSource中获取connection,类似如下 这种情况可以是2个数据库存放的数据性质是不同的,DataSource1存放1种数据,DataSource2存放另一种数据,每个数据库承担不同的数据访问请求,这2个是完全相互独立不相干的 这种就比较简单,那就是直接定义不同的jdbctemplate,设置不同的DataSource

基于Spring开发的DUBBO服务接口测试

基于Spring开发的DUBBO服务接口测试 知识共享主要内容: 1. Dubbo相关概念和架构,以及dubbo服务程序开发步骤. 2. 基于Spring开发框架的dubbo服务接口测试相关配置. 3. spring test+junit和spring test+TestNG两种测试框架脚本编写方法. 一.        DUBBO与DUBBO架构 1.          什么是dubbo?DUBBO是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治

Spring动态配置多数据源

Spring动态配置多数据源,即在大型应用中对数据进行切分,并且采用多个数据库实例进行管理,这样可以有效提高系统的水平伸缩性.而这样的方案就会不同于常见的单一数据实例的方案,这就要程序在运行时根据当时的请求及系统状态来动态的决定将数据存储在哪个数据库实例中,以及从哪个数据库提取数据. 基本信息 1.Spring配置多数据源的方式和具体使用过程. 2.Spring对于多数据源,以数据库表为参照,大体上可以分成两大类情况: 一是,表级上的跨数据库.即,对于不同的数据库却有相同的表(表名和表结构完全相

如何使用Dubbo服务和集成Spring

Dubbo是什么? Dubbo是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点. Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案. 其核心部分包含: 1.远程通讯: 提供对多种基于长连接的NIO框架抽象封装,包括多种线程模型,序列化,以及"请求-响应"模式的信息交换方式. 2.集群容错: 提供基于接口方法的透明远程过程调用,包括