《分布式任务调度平台某某L-JOB》手册簿

MainService为主线程，用于监控SCH_SchduleControl任务调度控制表中的批量指令，同时调用该批量。

发起和管理每个任务线程的启动和中断，以及插件包的加载、日志、配置等信息初始化。

TaskSchedulePool为任务调度的线程池，由主线程创建，每个批量启动后就会创建一个TaskScheduleControl线程来处理这个任务的具体执行内容。

TaskScheduleControl线程实现类，每个单独的任务创建一个实例。

用于控制一个任务中每个作业的执行，按依赖关系先后顺序调用作业。

作业的状态更新和读取通过调用JobExchangeComponent类实现；作业的具体执行通过Quartz框架提供的线程池来实现。

JobExchangeComponent类实现作业中的数据结构组建和更新，当作业执行状态变更时，更新相应的数据结构和知识库中的内容；读取当前要处理的作业队列。

Quartz 封装第三方框架，提供异步作业执行的线程池，用于定时执行指定作业。

JobExecute提供通用作业执行接口，同时提供监听器，当作业执行完成后，返回执行结果到JobExchangeComponent。

通过实现通用作业接口来调用各种功能。

3.1 任务调度服务主模块3.1.1系统初始化载入系统的配置项的数据，包括数据库驱动、连接参数；服务器标识、任务扫描频率、插件目录、是否写事件序列表等。

根据插件目录，载入插件类。

数据库访问实例化。

任务线程池初始化。

Service TaskScheduleControl 创建新批量任务JobExchangeComponent 获取作业队列返回可执行的作业列表更新作业状态为运行中JobItem TaskPersistDB 创建作业更新组件返回作业更新对象初始化作业列表返回持久化更新对象更新作业状态为运行中创建并执行作业返回执行结果更新作业状态为成功或失败更新作业树的状态更新作业状态为成功或失败重复读取作业队列检查新任务循环检查判断树状态，确定是退出还是继续JobListener执行结束作业开始执行3.2.3 数据结构定义。

分布式任务调度elastic-jobelastic-job主要的设计理念是⽆中⼼化的分布式定时调度框架，思路来源于Quartz的基于数据库的⾼可⽤⽅案。

但数据库没有分布式协调功能，所以在⾼可⽤⽅案的基础上增加了弹性扩容和数据分⽚的思路，以便于更⼤限度的利⽤分布式服务器的资源。

1. 主要功能a) 分布式：重写Quartz基于数据库的分布式功能，改⽤Zookeeper实现注册中⼼。

b) 并⾏调度：采⽤任务分⽚⽅式实现。

将⼀个任务拆分为n个独⽴的任务项，由分布式的服务器并⾏执⾏各⾃分配到的分⽚项。

c) 弹性扩容缩容：将任务拆分为n个任务项后，各个服务器分别执⾏各⾃分配到的任务项。

⼀旦有新的服务器加⼊集群，或现有服务器下线，elastic-job将在保留本次任务执⾏不变的情况下，下次任务开始前触发任务重分⽚。

d) 集中管理：采⽤基于Zookeeper的注册中⼼，集中管理和协调分布式作业的状态，分配和监听。

外部系统可直接根据Zookeeper的数据管理和监控elastic-job。

e) 定制化流程型任务：作业可分为简单和数据流处理两种模式，数据流⼜分为⾼吞吐处理模式和顺序性处理模式，其中⾼吞吐处理模式可以开启⾜够多的线程快速的处理数据，⽽顺序性处理模式将每个分⽚项分配到⼀个独⽴线程，⽤于保证同⼀分⽚的顺序性，这点类似于kafka 的分区顺序性。

2. 其他功能a) 失效转移：弹性扩容缩容在下次作业运⾏前重分⽚，但本次作业执⾏的过程中，下线的服务器所分配的作业将不会重新被分配。

失效转移功能可以在本次作业运⾏中⽤空闲服务器抓取孤⼉作业分⽚执⾏。

同样失效转移功能也会牺牲部分性能。

b) Spring命名空间⽀持：elastic-job可以不依赖于spring直接运⾏，但是也提供了⾃定义的命名空间⽅便与spring集成。

c) 运维平台：提供web控制台⽤于管理作业。

3. ⾮功能需求a) 稳定性：在服务器⽆波动的情况下，并不会重新分⽚；即使服务器有波动，下次分⽚的结果也会根据服务器IP和作业名称哈希值算出稳定的分⽚顺序，尽量不做⼤的变动。

开源分布式任务调度平台Cuckoo-Schedule1 概述1.1 平台概述 Cuckoo-Schedule对调度模块与执⾏模块进⾏解耦，调度模块⽀持集部署、任务分组、任务依赖、权限管理、邮件告警、调度⽇志记录等功能，并提供WEB页⾯对任务进⾏管理，⽀持任务实时调度情况的查看、变更以及任务⼿动执⾏回溯、暂停等管理功能。

执⾏模块⽀持客户端切⾯、脚本代码，实现客户端任务的零代码侵⼊。

1.2 功能介绍l 调度集群 Cuckoo-Schedule的分布式策略是以数据库作为边界资源的并发策略，每个集群节点遵守相同的调度规范，集群节点可动态扩容、删除。

l 任务依赖 Cuckoo-Schedule⽀持任务的依赖于触发，从⽽使得任务执⾏有先后顺序。

任务可以定时触发，也可以通过上级任务触发。

同时⼀个任务的执⾏可以依赖多个任务的完成状态。

l 任务分类 Cuckoo-Schedule既可以⽀持⽇切任务（每⽇执⾏任务），有可以⽀持数据流任务（按时间间隔执⾏），⽇切任务依赖组执⾏的⽇切业务时间在执⾏时保持⼀致，数据流任务依赖住执⾏的数据开始时间戳和结束时间戳保持⼀致。

例如： 有任务A/B/C任务，如果依赖组是⽇切任务，那么这三个任务有相同的业务执⾏⽇期。

如果依赖组是数据流任务，那么这三个任务有相同的开始时间戳和结束时间戳。

l 任务分⽚ 针对数据量超⼤的任务，需要制定分⽚策略，将任务拆解成多个⼩任务通过不同的客户端执⾏，达到提供任务调度速率的⽬标。

Cuckoo-Schedule可以针对任务层级设置任务执⾏参数，作为参数传递给客户端并进⾏任务分⽚执⾏。

l 任务执⾏查看 Cuckoo-Schedule⽀持任务执⾏⽇志情况查看，也⽀持任务执⾏依赖关系执⾏情况查看，便于任务执⾏异常情况下排查问题原因。

l 任务重跑 当任务执⾏失败后，⽀持⼿⼯对任务进⾏重跑操作，重跑是可以选择是否执⾏触发任务。

l 任务暂停 当客户端某个系统需要上线或者重启操作时，可以通过控制台⼿⼯暂停客户端任务的调度，避免由于服务重启的情况下，造成任务失败。

《分布式任务调度平台XXL-JOB》手册文档历史记录目录1：简介 (3)2：安装 (3)3：配置 (3)3.1数据库准备 (4)3.2源码准备 (5)3.3部署准备 (5)3.3.1 配置部署“调度中心” (5)3.3.2 配置部署“执行器项目” (7)4：使用 (9)步骤一：新建任务 (9)步骤二：“GLUE模式(Java)”任务开发 (10)步骤三：触发执行 (10)步骤四：查看日志 (10)5：总结 (11)1：简介XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，XXL-JOB是基于开源Quartz 调度内核的、为方便企业调度场景而开源的一款实用的调度工具。

自带任务配置页面，任务监控，分布式执行器等功能。

2：安装下载地址（最新1.9版本迭代中，可选择稳定版本1.8.2下载）码云：https:///xuxueli0323/xxl-job/tree/v1.8.23：配置解压下载文件，得到如下文件结构，- /doc :文档资料- /db :“调度数据库”建表脚本- /xxl-job-admin :调度中心，项目源码- /xxl-job-core :公共Jar依赖- /xxl-job-executor-samples :执行器，Sample示例项目3.1数据库准备使用mysql 新建数据库xxl-job ，导入下载文件夹中/doc/db/tables_xxl_job.sql 文件，应生成16张表，如图所示。

3.2源码准备按照maven格式将源码导入IDE，使用maven进行编译即可，源码结构如下xxl-job-admin：调度中心xxl-job-core：公共依赖xxl-job-executor：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）：xxl-job-executor-sample-spring：Spring版本，通过Spring容器管理执行器，比较通用；：xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器；：xxl-job-executor-sample-jfinal：JFinal版本，通过JFinal管理执行器；：xxl-job-executor-sample-nutz：Nutz版本，通过Nutz管理执行器；3.3部署准备3.3.1 配置部署“调度中心”调度中心项目：xxl-job-admin作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。

分布式任务调度平台XXL-JOB快速使⽤与问题总结1.XXL-JOB简介XXL-JOB is a lightweight distributed task scheduling framework. It's core design goal is to develop quickly and learn simple, lightweight, and easy to expand. Now, it's already open source, and many companies use it in production environments, real "out-of-the-box".XXL-JOB是⼀个轻量级分布式任务调度平台，其核⼼设计⽬标是开发迅速、学习简单、轻量级、易扩展。

现已开放源代码并接⼊多家公司线上产品线，开箱即⽤。

——引⽤⾃XXL-JOB的GIT项⽬介绍关于XXL-JOB的其他介绍可以，它含有丰富的特性，⽀持分布式和动态任务添加以及权限控制等。

2.搭建XXL-JOB项⽬①下载源码https:///xuxueli/xxl-job/②执⾏SQLxxl-job-2.1.1\xxl-job-2.1.1\doc\db\tables_xxl_job.sql③修改配置### xxl-job, datasourcespring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8ername=rootspring.datasource.password=root_pwdspring.datasource.driver-class-name=com.mysql.jdbc.Driver### xxl-job, access token 秘钥填了下⾯的⼦项⽬要和这个⼀致xxl.job.accessToken=需要注意的是⼦项⽬中的配置地址要和admin中的访问⾸页地址⼀致:### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin④启动项⽬我们⾸选需要启动项⽬中的admin,然后再启动xxl-job-executor-samples下⾯的内容,这⾥我们启动,这⾥⽐较简单的⽅式是通过springboot的例⼦进⾏启动,这也是作者推荐的启动⽅式。

elastic-job表Elastic-job是一款分布式任务调度解决方案，它主要由两部分组成：lite和cloud。

其中lite是一个轻量级分布式任务调度框架，提供了分片、错过重执行、分布式监听等常用功能；cloud则是一个基于Spring Cloud技术栈的分布式任务调度平台，提供了任务配置、任务监控、任务日志等功能。

在lite中，主要涉及到以下表：1. job_config表：存储作业的配置信息，包括作业名称、作业类型、执行作业的cron表达式等。

2. job_instance表：存储作业的实例信息，包括作业实例id、作业名称、执行时间、分片总数等。

3. job_execution表：存储作业的执行信息，包括执行id、作业实例id、当前分片项等。

4. job_status_trace_log表：存储作业的执行轨迹信息，包括作业实例id、执行时间、分片项、触发事件等。

在cloud中，主要涉及到以下表：1. app_config表：存储应用的配置信息，包括应用名称、应用类型、应用地址等。

2. job_config表：存储作业的配置信息，与lite中的job_config表类似。

3. job_execution_log表：存储作业的执行日志信息，包括作业实例id、任务开始时间、任务结束时间、任务状态等。

4. job_task_info表：存储作业的分片信息，包括作业实例id、分片项、分片状态等。

5. job_task_execution_log表：存储分片任务的执行日志信息，包括分片项、任务开始时间、任务结束时间、任务状态等。

以上是Elastic-job涉及到的主要表及其作用。

Home欢迎使用SpringBlade，以下为快速导航。

1.SpringBlade开发手册2.SpringBlade会员计划3.开源版与商业版功能对比Release V3.7.0JDK 1.8+license Apache 2Spring Cloud2021Spring Boot 2.7Author Small Chill Copyright@BladeX若需要咨询商业版事宜，请添加我们的官方微信咨询哦功能开源版 ->点击前往商业版 ->点击前往1. 适用范围可用于个人学习使用，小微企业免费的架构方案可用于企业商业化架构，从小型到大型系统的完整架构方案2. 生产能力功能较少，需要花费时间与人力进行二开才能作为商业化架构功能完善，经过生产检验，很多功能开箱即用，可以直接进行商业化开发3. 更新频率更新频率低，一到二月更新一次版本，问题响应较慢更新频率高，随时会将新功能、bug修复推送至dev分支，问题响应较快4. 组件封装组件化封装较少，满足基本项目需求，若有新的需求还需自行开发集成组件化封装较多，提供更多demo集成，适应多种场景需求，提高开发效率5. 数据库种类仅支持Mysql 支持Mysql、PostgreSQL、Oracle、SqlServer、达梦、崖山，支持更多场景选择6. 鉴权方案采用自研Token方案，拓展受限采用Oauth2+自研Token方案，拓展集成灵活7. 多租户系统只有最基础的多租户功能对租户插件深度定制，支持多租户背景、域名、账号额度、过期时间等配置8. 多租户数据隔离只支持单数据库字段隔离支持数据库与租户一对一、一对多、多对多等灵活的模式，符合中国式租户需求9. 多租户对象存储只有简易的七牛、阿里云集成，无法动态配置集成七牛、阿里云、腾讯云、minio等对象存储，支持租户在线配置到私有库10. 多租户短信服务暂无短信封装集成七牛、阿里云、腾讯云、云片等短信服务，支持租户在线配置到私有库11. 动态数据权限暂无数据权限高度灵活，提供注解+Web可视化两种配置方式，Web配置无需重启直接生效12. 动态接口权限暂无接口权限高度灵活，提供注解+Web可视化两种配置方式，Web配置无需重启直接生效13. 全能代码生成器暂无全能代码生成器支持自定义模型、模版 、业务建模，在线配置，不再为重复工作发愁14. 钉钉监控告警暂无钉钉监控告警增强监控，微服务上下线集成钉钉告警，提高应对风险能力15. 分布式任务调度暂无分布式任务调度极简集成xxl-job，支持分布式任务调度功能16. 分布式日志模块暂无分布式日志模块集成7.x版本ELK，支持分布式日志追踪功能17. 消息队列暂无消息队列完美集成Kafka、Rabbit、SpringCloud Stream等消息队列18. Dubbo暂无Dubbo集成极简集成Dubbo最新版，给微服务远程调用增加新的解决方案19. 令牌状态可配暂无令牌状态可配增强JWT，Token默认无状态，增加配置可保存至redis实现有状态模式20. API报文加密暂无API报文加密支持API全局报文加密，提高系统的安全等级，大大降低系统损失的风险21. 工作流暂无工作流深度定制SpringCloud分布式场景的Flowable工作流，为复杂流程保驾护航22. Prometheus监控暂无Prometheus监控集成Prometheus全方位监控体系23. 移动端架构暂无移动端架构提供基于UniApp的跨平台移动端架构24. 规则引擎暂无规则引擎集成LiteFlow轻量级规则引擎，业务解耦更轻松25. 应用市场暂无应用市场商业用户可将自己开发的产品上架至应用市场，拓展BladeX生态圈开源版与商业版功能对比BladeX与Avue深度合作，联合版可视化数据大屏解决方案授权：26. 数据大屏暂无数据大屏前往体验。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910918340.5(22)申请日 2019.09.26(71)申请人 山东浪潮通软信息科技有限公司地址 250100 山东省济南市高新区孙村镇科航路2877号(72)发明人 高新　(74)专利代理机构 济南信达专利事务所有限公司 37100代理人 姜明(51)Int.Cl.G06F 8/30(2018.01)G06F 9/50(2006.01)G06F 16/27(2019.01)(54)发明名称一种基于XXL-JOB实现分布式调度任务的方法及系统(57)摘要本发明公开了一种基于XXL -JOB实现分布式调度任务的方法及系统，属于计算机软件开发技术领域。

本发明的基于XXL -JOB实现分布式调度任务的方法配置部署调度中心，统一管理任务调度平台上调度任务，触发调度执行，并提供任务管理平台；配置部署执行器项目，接收调度中心的调度并执行；在可视化界面配置执行器及新建任务。

该发明的基于XXL -JOB实现分布式调度任务的方法能够减轻服务器压力，提高系统的运行效率，在确保各用户数据间隔的同时能完成调度任务，具有很好的推广应用价值。

权利要求书1页 说明书6页 附图1页CN 110688101 A 2020.01.14C N 110688101A1.一种基于XXL -JOB实现分布式调度任务的方法，其特征在于：该方法配置部署调度中心，统一管理任务调度平台上调度任务，触发调度执行，并提供任务管理平台；配置部署执行器项目，接收调度中心的调度并执行；在可视化界面配置执行器及新建任务。

2.根据权利要求1所述的基于XXL -JOB实现分布式调度任务的方法，其特征在于：具体包括以下步骤：S1、初始化调度数据，创建数据库；S2、配置调度中心；S3、配置执行器项目，配置项目中的配置文件；S4、新增执行器；S5、新建任务；S6、编写代码来实现执行调度任务的执行器。

分布式定时任务调度系统技术解决⽅案（xxl-job、Elastic-job、Saturn）1.业务场景保险⼈管系统每⽉⼯资结算，平安有150万代理⼈，如何快速的进⾏⼯资结算(数据运算型)保险短信开门红/电商双⼗⼀ 1000w+短信发送(短时汇聚型)⼯作中业务场景⾮常多，所涉及到的场景也各不相同，这使得我们定时任务系统应该集管理、调度、任务分配、监控预警为⼀体的综合调度系统,如何打造⼀套健壮的、适应不同场景的系统，技术选型尤其重要。

针对以上场景我们需要我们的分布式任务系统具备以下能⼒：1.⽀持多种作业类型(shell作业/Java作业)2.⽀持作业HA，负载均衡和失败转移3.⽀持弹性扩容(应对开门红以及促销活动)4.⽀持Job Timeout 处理5.⽀持统⼀监控和告警6.⽀持作业统⼀配置7.⽀持资源隔离和作业隔离2.定时任务调度的特点任务调度就是设点某⼀时间点⾃动触发的任务，该任务可以在时间规律上去循环执⾏。

⼀般的技术quartz、spring task、java.util.Timer，这⼏种如果在单⼀机器上跑其实问题不⼤，但是如果⼀旦应⽤于集群环境做分布式部署，就会带来⼀个致命的问题，那就是重复执⾏，当然解决⽅案有，但是必须依赖数据库，将任务执⾏状态持久化下来。

特点：时间驱动：系统⼀般可以通过时间来驱动，定时定点定次。

批量处理：批量处理堆积的数据更加⾼效，在不需要实时性的情况下⽐消息中间件更有优势。

⽽且有的业务逻辑只能批量处理。

如对账批处理、资⾦管理系统回盘、部分银⾏的报盘前的制盘⾮实时性：定时任务不要求实时性，⼀般不⽤于C端⽤户的交互，更多的⽤于业务数据的处理隔离性/专⼀性：可以跟其他系统分离，只关注业务数据的处理，不影响⽤户的操作和⽤户系统的性能。

基本原理：3.开源定时任务框架Quartz：Java事实上的定时任务标准。

但Quartz关注点在于定时任务⽽⾮数据，并⽆⼀套根据数据处理⽽定制化的流程。