Quartz使用(5) - Quartz的Job存储及集群部署

1. Job的存储与持久化

  Quartz的JobStore接口定义了作业Job、触发器trigger、调度器Scheduler等数据存储机制。Quartz主要有两种Job存储类型:内存存储RAMJobStore和持久化存储JDBCJobStore。下面将对其一一介绍。

2. RAMJobStore

  RAMJobStore是将Quartz涉及到的Job、Trigger、Scheduler等信息存储在内存中,是Quartz默认使用且最有效的Job存储方式。但其缺点也显而易见,一旦Quartz程序停止,内存中的Job信息将会丢失。

  使用RamJobStore时,如果未设置Quartz的配置文件quartz.properties,则编写Quartz程序默认使用RAMJobStore,如果需要在quartz.properties中进行设置"org.quartz.jobStore.class = org.quartz.simpl.RAMJobStore",可参考如下:

#============================================================================
# Configure Main Scheduler Properties
#============================================================================

org.quartz.scheduler.instanceName: TestScheduler
org.quartz.scheduler.instanceId: AUTO

org.quartz.scheduler.skipUpdateCheck: true

#============================================================================
# Configure ThreadPool
#============================================================================

org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount: 3
org.quartz.threadPool.threadPriority: 5

#============================================================================
# Configure JobStore
#============================================================================

org.quartz.jobStore.misfireThreshold: 60000

org.quartz.jobStore.class: org.quartz.simpl.RAMJobStore

#============================================================================
# Configure Plugins
#============================================================================

org.quartz.plugin.triggHistory.class: org.quartz.plugins.history.LoggingJobHistoryPlugin

org.quartz.plugin.jobInitializer.class: org.quartz.plugins.xml.XMLSchedulingDataProcessorPlugin
org.quartz.plugin.jobInitializer.fileNames: quartz_data.xml
org.quartz.plugin.jobInitializer.failOnFileNotFound: true
org.quartz.plugin.jobInitializer.scanInterval: 120
org.quartz.plugin.jobInitializer.wrapInUserTransaction: false

3. JDBCJobStore

  JDBCJobStore是将Quartz涉及的Job、Trigger、Scheduler通过JDBC存储到数据库中。与RAMJobStore相比,JDBCJobStore的配置稍微复杂些,且效率相对低。但其优点在于可以将Quartz的运行信息持久化。JDBCJobStore基于对所有的数据库有效,包括:Oracle, PostgreSQL, MySQL, MS SQL Server, HSQLDB, DB2等。当使用JDBCJobStore时,需要设置配置文件、以及创建相关的数据库表。

  1) 设置quartz.properties

  在quartz.preperties中设置JDBCJobStore,只需设置"org.quartz.jobStore.class = org.quartz.simpl.JDBCJobStore",以及设置对应的数据表即可。具体配置信息参考如下(下表为mysql的配置信息):

#============================================================================
# Configure Main Scheduler Properties
#============================================================================

org.quartz.scheduler.instanceName: OcpScheduler
org.quartz.scheduler.instanceId: OcpInstance_1

org.quartz.scheduler.skipUpdateCheck: true

#============================================================================
# Configure ThreadPool
#============================================================================
org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount: 50
org.quartz.threadPool.threadPriority: 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true

#============================================================================
# Configure JobStore
#============================================================================
org.quartz.jobStore.misfireThreshold: 120000

org.quartz.jobStore.class: org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass: org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.useProperties: false
org.quartz.jobStore.tablePrefix: QRTZ_
org.quartz.jobStore.dataSource: ocpQzDs
org.quartz.jobStore.isClustered: true
org.quartz.jobStore.clusterCheckinInterval = 60000 

#============================================================================
# Configure Datasources
#============================================================================
org.quartz.dataSource.ocpQzDs.driver: com.mysql.jdbc.Driver
org.quartz.dataSource.ocpQzDs.URL:jdbc:mysql://127.0.0.1:3306/ocp?useUnicode=true&characterEncoding=utf-8
org.quartz.dataSource.ocpQzDs.user: test
org.quartz.dataSource.ocpQzDs.password: test
org.quartz.dataSource.ocpQzDs.maxConnection: 30

#============================================================================
# Configure Plugins
#============================================================================
org.quartz.plugin.shutdownHook.class: org.quartz.plugins.management.ShutdownHookPlugin
org.quartz.plugin.shutdownHook.cleanShutdown: true

#org.quartz.plugin.triggHistory.class: org.quartz.plugins.history.LoggingJobHistoryPlugin

  2) 创建数据表

  将数据库及表的创建写入sql文件,导入即可。相关的表如下所示:  


表名


说明


QRTZ_FIRED_TRIGGERS


存存放已触发的触发器


QRTZ_PAUSED_TRIGGER_GRPS


存放暂停掉的触发器


QRTZ_SCHEDULER_STATE


调度器状态


QRTZ_LOCKS


存储程序的悲观锁的信息


QRTZ_SIMPLE_TRIGGERS


简单触发器的信息


QRTZ_SIMPROP_TRIGGERS


QRTZ_CRON_TRIGGERS


存放cron类型的触发器


QRTZ_BLOB_TRIGGERS


以Blob 类型存储的触发器


QRTZ_TRIGGERS


触发器的基本信息


QRTZ_JOB_DETAILS


存放一个jobDetail信息


QRTZ_CALENDARS


存放日历信息

4. Quarz应用集群

  Quartz集群架构如下,集群中的每个节点是一个独立的Quartz应用,且独立的Quartz节点并不与另一节点通信,而是通过相同的数据库表来感知另一Quartz应用。简而言之,Quartz应用、数据库支撑、多节点部署即可搭建起Quartz的应用集群。

  Quartz集群还在同一个数据库下,由数据库中的数据来确定任务是否正在执行,如果该任务正在执行,则其他服务器就不能去执行该调度任务。Quartz集群的特点如下:

  1) 持久化

  Quartz可以将调度器scheduler、触发器trigger以及任务Job的运行时信息存储至数据库中,采用JDBCJobStore,如果服务器异常时,可以基于数据库中的存储信息进行任务恢复。

  2) 高可用性

  如果相关服务器节点挂掉的话,集群的其他节点则会继续执行相关任务。

  3) 伸缩性

  如果集群中的节点数过少,导致相关任务无法及时执行,可以增加额外的服务器节点,只需将其他节点上的脚本及配置信息拷贝至新部署的节点上运行即可。

  4) 负载均衡

  Quartz使用随机的负载均衡算法,任务job是以随机的方式由不同的节点上Scheduler实例来执行。但当前不存在一个方法指派一个Job到集群中的特定节点。

5. 下节概述

  下一节会将项目中应用Quartz模块相关方案设计、流程架构、及重点代码一一呈现。

时间: 2024-10-29 09:53:24

Quartz使用(5) - Quartz的Job存储及集群部署的相关文章

使用sqlserver搭建高可用双机热备的Quartz集群部署【附源码】

一般拿Timer和Quartz相比较的,简直就是对Quartz的侮辱,两者的功能根本就不在一个层级上,如本篇介绍的Quartz强大的集群机制,可以采用基于 sqlserver,mysql的集群方案,当然还可以在第三方插件的基础上实现quartz序列化到热炒的mongodb,redis,震撼力可想而知,接下来本篇就和大家聊 一聊怎么搭建基于sqlserver的quartz集群,实现这么一种双机热备的强大功能. 一:下载sqlserver版的建表脚本   首先大家可以通过github上搜索quart

Quartz.net持久化与集群部署开发详解

序言 我前边有几篇文章有介绍过quartz的基本使用语法与类库.但是他的执行计划都是被写在本地的xml文件中.无法做集群部署,我让它看起来脆弱不堪,那是我的罪过. 但是quart.net是经过许多大项目的锤炼,走到啦今天,支持集群高可用的开发方案那是一定的,今天我就给小结下我的quartz.net开发升级过程. Quartz.net的数据库表结构 如果支持集群与持久化,单靠本机的内存和xml来保存计算任务调度的各种状态值,可想而知,是困难的.所以支持数据库这样的解决方案,OpenSymphony

【转】Quartz.net持久化与集群部署开发详解

转自:http://www.cnblogs.com/knowledgesea/p/5145239.html 序言 我前边有几篇文章有介绍过quartz的基本使用语法与类库.但是他的执行计划都是被写在本地的xml文件中.无法做集群部署,我让它看起来脆弱不堪,那是我的罪过. 但是quart.net是经过许多大项目的锤炼,走到啦今天,支持集群高可用的开发方案那是一定的,今天我就给小结下我的quartz.net开发升级过程. Quartz.net的数据库表结构 如果支持集群与持久化,单靠本机的内存和xm

MongoDB分片存储的集群架构实现

MongoDB分片存储的集群架构实现 如果需要存储大量数据,或者系统的读写吞吐量很大的时候,单个server就很难满足需求了.这个时候我们可以使用MongoDB的分片机制来解决这些问题. 分片的基本概念 分片(sharding)是一种水平扩展(horizontal scaling)的方式,把一个大的数据集分散到多个片服务器上,所有的片服务器将组成一个逻辑上的数据库来存储这个大的数据集.分片对用户(应用层)是透明的,用户不会知道数据很被存放到哪个片服务器上. 这种方式有两个好处: 分片之后,每个片

用Redis存储Tomcat集群的Session实现session共享

一.存储 前段时间,我花了不少时间来寻求一种方法,把新开发的代码推送到到生产系统中部署,生产系统要能够零宕机.对使用用户零影响. 我的设想是使用集群来搞定,通过通知负载均衡Nginx,取下集群中的Tomcat节点,然后对Tomcat上的应用进行升级,再通知负载均衡Nginx,把Tomcat节点重新加载上去.依次这么做,把集群中的所有Tomcat都替换一次即可. 那么问题来了,在取下Tomcat节点和加载新Tomcat节点时如何做到对用户无影响呢?方法很简单,共享Session. 下面,我们用实例

Memcache启动&存储原理&集群

一. windows下安装启动 首先将memcache的bin目录加入到Path环境变量中,方便后面使用命令: 然后执行 memcached –dinstall 命令安装memcache的服务: 然后去计算进的服务页面可以看到已成功安装: 启动memcache的后台服务程序: 在后台服务处看到memcache的后台服务已启动: 然后执行,telnet 127.0.0.111211来打开Telnet客户端: 结果发现没有开启Telnet的功能: 于是在"启动或关闭Windows功能"处,

GlusterFS-分布式存储集群部署

GlusterFS在日常生产中遇到的很多,他有这配置简单.稳定等特点: 接下来我们来部署一下GlusterFS,介绍一下它的几种模式: 1解析主机名: [[email protected]1 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.

用Redis存储Tomcat集群的Session

本人花了不少时间来寻求一种方法,把新开发的代码推送到到生产系统中部署,生产系统要能够零宕机.对使用用户零影响. 我的设想是使用集群来搞定,通过通知负载均衡Nginx,取下集群中的Tomcat节点,然后对Tomcat上的应用进行升级,再通知负载均衡Nginx,把Tomcat节点重新加载上去.依次这么做,把集群中的所有Tomcat都替换一次即可. 那么问题来了,在取下Tomcat节点和加载新Tomcat节点时如何做到对用户无影响呢?方法很简单,共享Session. 下面,我们用实例来说明此方案.我们

浅析Quartz的集群配置

浅析Quartz的集群配置(一) 收藏人:Rozdy     2015-01-13 | 阅:1  转:22    |   来源   |  分享      1 基本信息 摘要:Quartz是一个开源的作业调度框架,它完全由java写成,并设计用于J2SE和J2EE应用中.它提供了巨大的灵活性而不牺牲简单性.你能够用它来为执行一个作业而创建简单的或复杂的调度.它有很多特征,如:数据库支持,集群,插件,EJB作业预构建,JavaMail及其它,支持cron-like表达式等等.其中集群配置一般比较复杂