分布式任务调度平台的自动化部署

tomato 发布于2019-08-15 10:59 / 3482人阅读

摘要：分布式任务调度平台，美团点评员工许雪里开发，其核心设计目标是开发迅速学习简单轻量级易扩展。源码地址二本文简介主要是利用成熟的部署工具，结合开源的分布式任务调度框架作为工程，快速搭建自己的持续集成项目，其他项目可以类似构建。

一、概述

   1、自动化部署能简化开发过程的代码管理，让开发人员把更多的时间专注于业务实现，
   简化繁琐的上线流程和操作步骤，做到项目的快速打包和部署，减少人为操作中的失误。

   2、分布式任务调度平台，XXL-JOB：美团点评员工许雪里开发，
   其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
   现已开放源代码并接入多家公司线上产品线，开箱即用。
   源码地址：https://github.com/xuxueli/xxl-job

二、本文简介

  主要是利用成熟的CI部署工具Jenkins，结合开源的分布式任务调度框架xxl-job作为demo工程，快速搭建自己的持续集成项目，其他项目可以类似构建。

三、Jenkins部署和配置

1、安装
  1.1用特定版本的安装包安装
     安装包下载页：   https://pkg.jenkins.io/redhat-stable/
    （注意：会有一些安装版本和jdk版本匹配的问题，一般CentOS 6.5 安装版本jenkins-2.7.4-1.1.noarch.rpm是OK的）
  1.2、安装最新版本：
         按照文档来就没问题： https://jenkins.io/doc/book/getting-started/installing/#unix-linux
  1.3、启动和停止
      sudo service jenkins start/stop/restart
      sudo chkconfig jenkins on

2、全局配置

2.1 全局配置：点击系统管理，进入Global Tool Configuration

2.2 配置常用环境变量

注意的点：所有配置需要配置在全局环境变量里面，让系统所有用户都能访问到，比如说maven，不能配置在特定的用户目录下，否则后面jenkins用户就无法执行mvn命令，而报错。
jdk：

git:

maven:

3、项目配置

3.1、新建一个项目

  点击新建，新建一个自由风格的软件项目

3.2、项目源码配置(使用git管理):

  首先需要安装插件：
   系统管理-》管理插件，在可选插件里找到这个，让后直接安装就可以

3.3、配置远程SSH

在系统管理-》系统设置里，找到Publish over SSH

4、构建配置详细：

    1、 General配置项目名称和简介
    2、源码管理配置git项目地址
    3、构建触发器配置远程构建脚本
    4、构建环境配置项目构建前需要执行的一些脚本
    5、构建，配置构建工具，比如maven打包，war包的上传，执行tomcat服务启动脚本
    6、构建后操作发布，构建后的邮件发送等操作

4.1、简介和配置

4.2、配置项目源码地址和访问密码

4.3、配置Credentials

4.4、构建环境

4.5、构建配置构建命令 (这里的maven是前面全局环境变量中配置好的)

添加构建后操作(需要前面安装好远程ssh插件才行)

4.6、配置构建后操作

其中:

Transfer SetSource files：表示要上传的本地的war包及路径，可到工作空间去看
Remove prefix:表示要上传时要去除的文件夹，即只上传war包
remote driectory:即表示执行时的路径，相当于把war包上传到这里了
exec commad:要执行的命令，这里可以重命名jar包，启动tomcat服务器

7、构建后操作：

8、回到配置主页，进行构建

9、进入构建控制台查看构建日志，如果有错误，可以直接查看到

四、xxl-job的介绍

项目地址:
 https://github.com/xuxueli/xxl-job

概述：
XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
现已开放源代码并接入多家公司线上产品线，开箱即用。

特性：
- 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
- 2、动态：支持动态修改任务状态、暂停/恢复任务，以及终止运行中任务，即时生效；
- 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”基于集群Quartz实现，可保证调度中心HA；
- 4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
- 5、任务Failover：执行器集群部署时，任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover；
- 6、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
- 7、自定义任务参数：支持在线配置调度任务入参，即时生效；
- 8、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
- 9、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
- 10、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
- 11、状态监控：支持实时监控任务进度；
- 12、Rolling执行日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
- 13、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
- 14、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
- 15、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
- 16、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
- 17、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
- 18、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移；
- 19、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
- 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python等类型脚本;
- 21、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
- 22、失败处理策略；调度失败时的处理策略，策略包括：失败告警（默认）、失败重试；

服务器托管云服务器任务调度任务调度过程任务调度算法任务调度开源

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/67464.html

分布式任务调度平台的自动化部署

摘要：分布式任务调度平台，美团点评员工许雪里开发，其核心设计目标是开发迅速学习简单轻量级易扩展。源码地址二本文简介主要是利用成熟的部署工具，结合开源的分布式任务调度框架作为工程，快速搭建自己的持续集成项目，其他项目可以类似构建。一、概述 1、自动化部署能简化开发过程的代码管理，让开发人员把更多的时间专注于业务实现，简化繁琐的上线流程和操作步骤，做到项目的快速打包和部署，减少人...

scq000 2019-05-29 19:42 评论0 收藏0
XXL-JOB v1.9.1，分布式任务调度平台

摘要：版本特性国际化调度中心实现国际化，支持中文英文两种语言，默认为中文。调度中心提供触发任务单次执行的服务，可根据业务事件灵活触发。版本 V1.9.1 特性 1、国际化：调度中心实现国际化，支持中文、英文两种语言，默认为中文。 2、调度报表新增运行中中状态项； 3、调度报表优化，报表SQL调优并且新增LocalCache缓存（缓存时间60s），提高大数据量下报表加载速度； 4、修复打包...

沈建明 2019-08-15 14:17 评论0 收藏0
XXL-JOB v2.0.2，分布式任务调度平台

摘要：底层通讯方案优化升级较新版本，由方案调整为方案，执行器内嵌提供服务，调度中心复用容器端口提供服务任务告警逻辑调整，改为通过扫描失败日志方式触发。 v2.0.2 Release Notes 1、底层通讯方案优化：升级较新版本xxl-rpc，由JETTY方案调整为NETTY_HTTP方案，执行器内嵌netty-http-server提供服务，调度中心复用容器端口提供服务； 2、任务告警逻...

lily_wang 2019-08-16 16:52 评论0 收藏0
XXL-JOB v2.1.0，分布式任务调度平台

摘要：自研调度组件，移除依赖一方面是为了精简系统降低冗余依赖，另一方面是为了提供系统的可控度与稳定性触发单节点周期性触发，运行事件如调度集群竞争，负载方式协同处理，锁竞争更新触发信息推送时间轮锁释放锁竞争底层表结构重构移除张相关表，并对现 v2.0.2 Release Notes 1、自研调度组件，移除quartz依赖：一方面是为了精简系统降低冗余依赖，另一方面是为了提供系统的可控度与稳...

GitChat 2019-08-16 18:29 评论0 收藏0
XXL-JOB v2.0.0 发布，分布式任务调度平台

v2.0.0 Release Notes 1、调度中心迁移到 springboot； 2、底层通讯组件迁移至 xxl-rpc； 3、容器化：提供官方docker镜像，并实时更新推送dockerhub（docker pull xuxueli/xxl-job-admin），进一步实现产品开箱即用； 4、新增无框架执行器Sample示例项目 xxl-job-executor-sample-framel...

Edison 2019-08-16 13:36 评论0 收藏0