多机部署之定时任务完整方案

1.场景描述

老项目需要多机部署,项目中有几十个定时任务,一旦多机部署,定时任务就会重复执行,固定ip与错开时间方案都存在较大弊端,最终采用的方案是:AOP+排他锁的方式,软件老王已验证通过,介绍下,有需要的朋友可以参考下。

2.解决方案

软件老王基本方案是采用:AOP+排他锁的方式。

(1)目前老项目有几十个定时任务,采用AOP的方式,可以保证代码的无侵入(即使简单的微侵入,例如增加几行代码,测试验证的工作量也会比较大的)。
(2)采用排他锁的方式,保证批处理的高可用,不重复执行。

2.1 AOP编程

Aop的概念就不说了,就是面向切面编程,通俗点就是统一处理一类问题,比如日志、请求鉴权等,刚开始不确定是否可行,系统中的批处理是使用spring注解的方式@Scheduled进行批处理,采用aop对注解@Scheduled进行编程,统一拦截批处理,代码如下:

/**
 * 软件老王-AOP处理类
 */
@Aspect
@Component
public class ScheduledAspect {
    @Autowired
    ScheduleService scheduleService ;

    @Pointcut( "@annotation(org.springframework.scheduling.annotation.Scheduled)")
    public void scheduled() {
    }
    @Around("scheduled()")
    public Object scheduled(ProceedingJoinPoint pjd) {
        Object result = null;
        String taskName = pjd.getSignature().getName();
        try {
            if (scheduleService.isInvoke(taskName)){
                return result;
            }
            result = pjd.proceed();
            scheduleService.end(taskName);
        } catch (Throwable e) {
            throw new RuntimeException(e);
        }
        return result;
    }
}

说明:

(1)面向标签编程

  @Pointcut( "@annotation(org.springframework.scheduling.annotation.Scheduled)")

这样注解会拦截标签@Scheduled。

(2)使用aop的环绕标签 @Around("scheduled()")

@before标签拿不到执行完成状态,需要使用环绕标签@@Around,在标签中可以拿到执行完成后状态,以便放开锁。

 result = pjd.proceed();

(3)结合排他锁使用

   @Autowired
    ScheduleService scheduleService ;

2.2 排他锁

排他锁,简单来说就是通过数据库总的标志位+版版号进行的控制.

软件老王的代码如下,:

/**
 * 软件老王-排他锁服务类
 */
@Service
public class ScheduleService {
    @Autowired
    ScheduleClusterMapper scheduleClusterMapper;

    public boolean isInvoke(String taskName) {
        boolean isValid = false;
        try {
            ScheduleCluster carIndexEntity = scheduleClusterMapper.selectByTaskName(taskName);
            int execute = carIndexEntity.getExecute();
            String ip = InetAddress.getLocalHost().getHostAddress();
            long currentTimeMillis = System.currentTimeMillis();
            long time = carIndexEntity.getUpdatedate().getTime();
            if (execute == 0) {
                isValid = start(taskName, carIndexEntity.getVersion(), ip);
            }
        } catch (UnknownHostException e) {
            e.printStackTrace();
        }
        return isValid;
    }
    //执行锁机制,软件老王
    public boolean start(String taskName, int version, String ip) {
        ScheduleCluster scheduleCluster = new ScheduleCluster();
        scheduleCluster.setVersion(version);
        scheduleCluster.setExecuteIp(ip);
        scheduleCluster.setUpdatedate(DateUtil.getCurrentTime());
        scheduleCluster.setTaskName(taskName);
        scheduleCluster.setExecute(1);
        int count = scheduleClusterMapper.updateByTaskName(scheduleCluster);
        if (count > 0) {
            return true;
        }
        return false;
    }
    //执行解锁机制,软件老王
    public void end(String taskName) {
        ScheduleCluster scheduleCluster = new ScheduleCluster();
        scheduleCluster.setUpdatedate(DateUtil.getCurrentTime());
        scheduleCluster.setTaskName(taskName);
        scheduleCluster.setExecute(0);
        scheduleClusterMapper.updateNormalByTaskName(scheduleCluster);
    }
}

说明:

大的原理是在where条件后带上版本号,在update中更新version+1,这样通过影响数据库的影响条数,来判断是否拿到锁。

(1)主类中调用start方法,该方法是更新批处理状态,软件老王这里设置了一个小点,在updateByTaskName的mybatis方法中,有个version+1的更新;

(2)end方法放在更新完成后,释放锁。

(3)其实还有一个点,可以考虑下,需要有个机制,比如出现异常情况,刚好批处理执行中,重启服务了等,下次批处理执行前,假如锁还未释放,代码中增加释放锁的机制。

2.3 数据库相关

(1)数据库表设计

(2)mybatis相关方法

(1)第一个是start对应方法,执行锁和version增加。

 <update id="updateByTaskName" parameterType="com.yutong.dmp.entity.ScheduleCluster">
    update t_schedule_cluster
    <set>
        <if test="executeIp != null">
            execute_ip = #{executeIp,jdbcType=VARCHAR},
        </if>
        <if test="version != null">
            version = #{version,jdbcType=INTEGER} + 1,
        </if>
        <if test="execute != null">
            execute = #{execute,jdbcType=INTEGER},
        </if>
        <if test="status != null">
            status = #{status,jdbcType=VARCHAR},
        </if>
        <if test="createby != null">
            createby = #{createby,jdbcType=VARCHAR},
        </if>
        <if test="createdate != null">
            createdate = #{createdate,jdbcType=TIMESTAMP},
        </if>
        <if test="updateby != null">
            updateby = #{updateby,jdbcType=VARCHAR},
        </if>
        <if test="updatedate != null">
            updatedate = #{updatedate,jdbcType=TIMESTAMP},
        </if>
    </set>
    where task_name = #{taskName,jdbcType=VARCHAR}
    and version = #{version,jdbcType=INTEGER}
    and status ='1'
  </update>

(2)第二个是释放锁,更改excute为0。

<update id="updateNormalByTaskName" parameterType="com.yutong.dmp.entity.ScheduleCluster">
    update t_schedule_cluster
    <set>
        <if test="executeIp != null">
            execute_ip = #{executeIp,jdbcType=VARCHAR},
        </if>
        <if test="version != null">
            version = #{version,jdbcType=INTEGER},
        </if>
        <if test="execute != null">
            execute = #{execute,jdbcType=INTEGER},
        </if>
        <if test="status != null">
            status = #{status,jdbcType=VARCHAR},
        </if>
        <if test="createby != null">
            createby = #{createby,jdbcType=VARCHAR},
        </if>
        <if test="createdate != null">
            createdate = #{createdate,jdbcType=TIMESTAMP},
        </if>
        <if test="updateby != null">
            updateby = #{updateby,jdbcType=VARCHAR},
        </if>
        <if test="updatedate != null">
            updatedate = #{updatedate,jdbcType=TIMESTAMP},
        </if>
    </set>
    where task_name = #{taskName,jdbcType=VARCHAR}
    and status ='1'
</update>


I’m 「软件老王」,如果觉得还可以的话,关注下呗,后续更新秒知!欢迎讨论区、同名公众号留言交流!

原文地址:https://www.cnblogs.com/ruanjianlaowang/p/12053817.html

时间: 2024-10-17 08:51:04

多机部署之定时任务完整方案的相关文章

mac本机部署canal

1.背景介绍 最近做的一个项目需要快速检索数据,经过商讨后采用了ElasticSearch作为快速检索数据引擎,但是数据如何同步到ES中是个问题,我们最开始计划了定时任务.mysql trigger等方式,最后选择了比较好的canal组件,通过canal同步mysql中的数据到ES中,所以要学习一下canal. 2.canal介绍 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年

如何批量部署Office 2013 (四)——多机部署Office 2013

接下来来看Office的多机部署,如何在多台客户端中批量部署Office,其实方法并不唯一,可以通过MDT结合操作系统一同部署,也可以单独批量部署Office,这两种方法我们都会讲,首先来看下单独实现Office的批量部署 1.将Office 2013安装文件复制到网络存储位置 2. 将制作好的OCT文件拷贝到updates文件夹下 3.将部署文件夹共享并设置读写权限 4.在开始屏幕中打开AD用户和计算机 5.创建一个名为Office的OU 6.在Computers中将OfficeClient.

企业内部部署一套完整的DNS详细流程

企业内部部署一套完整的DNS详细流程 ? 1) 环境说明 ? 1. 共需要7台主机,各自的角色如下: A. 192.168.36.6(OS6):test B. 192.168.36.7(OS7):localdns C. 192.168.36.17(OS7):rootdns D. 192.168.36.27(OS7):comdns E. 192.168.36.37(OS7):master F. 192.168.36.47(OS7):slave G. 192.168.36.57(OS7):www 2

菜鸟系列Fabric——Fabric 1.2 多机部署(3)

多机部署fabric kafka共识 1. 角色分配 主机1 主机 2 Org1 peer0 1 Org2 peer 0 1 Orderer 0 1 Orderer 2 kafka 0 1 kafka 2 3 zookeeper 0 1 zookeeper 2 2. 配置文件生成及准备yaml文件 2.1 修改配置文件 configtx-kafka.yaml Addresses: - orderer0.example.com:7050 - orderer1.example.com:8050 -

一机双屏和双屏通信方案总结

项目中需要用到web一机双屏,也就是一台电脑,两个屏幕,每个屏幕分别展示一部分的内容,两个web标签页之间自然少不了实时通信和互动,下面简单介绍一下,在项目中对该问题的思考和最终解决方案: 一:打开两个标签页的方案 1.如果打开的标签页是固定的,则可以直接在a标签加上target="_blank"属性搞定!例如:打开必应首页     代码为:  <a href="http://cn.bing.com/" target="_blank">

记述一次通过跳板机部署内网服务器

前几天做了一个任务,需要将一个配置参数下发服务器部署到客户的服务器上,之前没弄过这个,中间耽误了点时间,现在对涉及到的技术做一下总结,为了保护客户的隐私,下面设计到具体数据的地方都是为描述方便虚拟的,并不是真实的. 网络架构大概是这个样子的: 我是没办法直接连到配置参数下发服务器的,中间需要通过一台跳板机,所谓的跳板机可以看做是一台带Linux操作系统的路由器,上面一般会有很多网卡(物理的或者虚拟的),这些网卡连接到了不同的网络,从不同网络过来的连接可以通过这里中转. 这里的跳板机主要目的就是为

React Native for Android 热部署图片自己定义方案

情景 热部署时,我们期望升级包中包括js代码与图片资源. bundle的热部署网上已经有两种方案了,一种是用反射,一种是利用RN自带函数.将bundle初始化时直接放到指定文件夹下,之后通过替换bundle文件实现代码热部署. 我们希望图片也能够实现热部署,以下是一个比較简单的解决方式. 详细需求:client解析从server下发的压缩包(zip),当中含js源文件index.android.bundle 和 图片包,解压后ReactNative指向 解压后index.android.bund

Openfire 集群部署和负载均衡方案

一.   概述 Openfire是在即时通讯中广泛使用的XMPP协议通讯服务器,本方案采用Openfire的Hazelcast插件进行集群部署,采用Haproxy进行负载均衡,在示例环境中测试通过. 二.   示例环境 服务器配置如下: 服务器名 用途 操作系统 IP PC647 Openfire节点1 Windows7 10.200.10.11 seasky Openfire节点2 Windows xp 10.200.10.18 Lub1 Mysql数据库 LUbuntu 12 10.200.

IIS6部署web service完整过程

今天使用内网部署web服务,用手机进行访问(手机访问内网服务器网页见上一篇博客), 基本步骤如下: 1.visual studio 生成web服务,并部署到某一文件夹ws中 2.服务器IIS在"网站"中右击添加一新网站ws,将目录定位1中的目录ws(添加网站过程中要求设置如下图所示网站名,路径,绑定ip等内容.ip一旦绑定,访问时将按照ip来访问)) 这时访问该服务,会出现""HTTP Error 503. The service is unavailable&qu