利用Jenkins自动部署工具间接构建kettle的调度平台

关于Jenkins的介绍我就不说了,自己百度,因为这个工具调用脚本只是他的功能的冰山一角,其他功能我也不能理解,因为不是那个领域。
        下面我就介绍一下为什么我们需要一个调度平台,以及学习完jenkins后,能解决什么问题。然后在开始讲解安装部署,然后再讲一下怎么调用kettle作业(和处理作业依赖)

1.为什么我们需要调度平台? 

2.答:可能大部分人对于kettle的调度还是停留在win的计划任务,linux的cron, 但是作业越来越多,作业之间相互依赖,(例如:A作业,b作业,执行完之后,才能执行c作业),这些简单的通过计划任务是完成不了的,或许有些人说,可以把这三个作业放在kettle的一个作业里面表示其内的依赖关系,那么这样做,就会把本来模块化的作业塞到一个臃肿的作业里面,作业之间高度耦合,一个很大的作业还可能会存在kettle内存消耗过大的问题内存溢出的问题,以致难以管理。
      2.学习完jenkins后,能解决什么问题?
      答:集中管理作业/转换的调度,以及每次调度的日志保存,处理作业调度依赖性问题等(因为目前我也是小白,也刚刚接触到这个东西,我只是想把我知道的东西分享给大家,所以会讲的比较简单,但是个人觉得jenkins能做的东西应该还有很多,例如分布式的调度系统)

3.如何安装部署?

答:先说一下我的测试环境:win7-64位,360浏览器(浏览器有兼容性问题,一开始用IE,发现安装一致空白页面,后来换了谷歌内核的就没问题),jre1.80,配置好java路径,下载jenkins.war-2.72版本,放到某个路径下,G:\jenkins\jenkins.war,运行cmd,输入 java -jar G:\jenkins\jenkins.war ,然后等待启动(自带的jetty启动),看......up and runing 就启动成功,注意8080别被占有,启动成功后http://localhost:8080(修改端口号就上官网查)。

如果使用的Tomcat,可以直接将jenkins.war文件放入Tomcat的webapps目录下。

页面上会让你输入一个密码,那个密码在启动的提示信息里面有说明在什么路径下什么文件内,只需要复制出来 ,粘贴进去(页面上也有提示在什么文件内)

然后会跳转到一个插件安装页面,选择第一个推荐方式

然后就会自动安装(再服务器端部署,如果服务器端没有联网,可以直接跳过该步骤)

我自己安装的时候,有两个插件没安装成功,一直卡着,后来我就关闭了cmd界面,重新打开,完成之后设置用户

完成之后进入主页面

那么部署就算完成了

4.这里就是大家最关注的重点了,如何调度kettle作业、转换?

答:1.点击首页的新建

2.建立作业,点击OK

3.配置作业里面的内容,以及触发的方式(我们主要是:1定时触发 2.依赖其他作业触发),先讲定时触发,配置界面如下:日程表的格式类似与linux的cron格式,但是有些不同,看旁边的问号说明把,基本一样。

按看到了把,构建步骤这里就可以选择执行shell\bat

输入调用作业的代码,这里大家就应该很熟悉了

我们也可以在这个job2里面执行多个kettle的作业,我们只需要再点击增加构建步骤,那么这两个kettle是从上往下串行执行(个人测试出来的)

那么之后我们这里设置依赖问题了,按照如上的设置 我们做一个test3的Jenkins作业(但是不需要配置定时调度,因为test3我想用其他作业完成之后触发调度),我们想让Jenkins的job2执行完之后,再执行Jenkins的test3作业,那么就增加构建后的操作,指定调用哪个Jenkins作业,在下面的输入框输入作业名称,这里会提示显示你当前有哪些Jenkins作业。(【构建】是软件自动化部署领域的词,我们理解为【调度执行】的意思就好了)

点击保存。回到主页面 ,job2 就会按照配置执行,job2执行完成之后也会触发test3的执行。

那么我们已经完成了简单的作业依赖关系的处理。

其他简单的界面说明:

在首页就可以看到增加的所有作业的和他的状态

右上角的我们可以开启页面自动刷新,其实就是F5的作用。

每个作业前面有两个图标,标识一定的含义,含义如下:

在这里的加号 也可以增加选项卡,其实就是作业分类管理显示的作用,什么作业显示在什么选项卡下。

这两个按钮都是马上执行的意思,点击作业名称,可以进入对其修改配置。

好了,Jenkins结合kettle的调度讲解我就说完了,希望大家多多挖掘Jenkins的功能。

时间: 2024-10-18 19:09:54

利用Jenkins自动部署工具间接构建kettle的调度平台的相关文章

使用Jenkins 自动部署发布

使用Jenkins自动部署发布,继Jenkins部署篇后: #注意:jenkins路径会有差异,不用在意这个,同一个版本部署2次,发现了2个不同的目录结构,很诧异. jenkins build玩war包的存放目录:/data/jenkins/workspace/simple/target 自动发布的脚本存放路径:/data/jenkins/jobs/simple 脚本的内容: 脚本使用的是scp命令,当然也可以使用wget等. [[email protected] simple]# cat de

利用Powershell自动部署asp.net mvc网站项目 (一)

这一篇中我们会写一些关于自动化部署的代码.我们会使用 Powershell 书写这类代码. 你将发现这篇文章中涉及的东西非常具体,有的要求甚至相当苛刻且可能不具有通用性.这是因为部署从来都是跟环境打交道,部署过程中协作的组建太多,相互之间的交集不可能太大.可能唯一能够通用的是自动化部署的基本原则(只是这篇文章的基本原则): 每一次自动化部署结束之后,应用程序都会有相同的初始状态. 自动化部署的机器非常干净,只有相应的 Windows Server 系统和 .NET Framework.尤其是,不

服务器做了格式化后(ip没变),jenkins自动部署报错

jenkins自动部署报错如下:@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!Some

Jenkins自动部署Shell脚本

注意:本脚本用于Shell脚本分享,因环境不同,不可直接用于其它环境部署用. #!/bin/bash#时间:2019年7月29日#作者:肖山#微信:helpxiaoshan#用途:用于XXXX UAT环境ATG商城项目Jenkins自动部署使用. ############ 使用注意事项:################################################################################# 注意1:需修改目标主机/etc/ssh/sshd

Linux+Jenkins环境搭建以及自动部署django项目-构建配置

注意点1:cd xxx BUILD_ID=DONTKILLME nohup python manage.py runserver 0.0.0.0:8000 & BUILD_ID=DONTKILLME : 在jenkins里面在后台运行的程序都会被jenkins自动杀死 所以需要加上BUILDID这个参数 加了这个参数你的程序就不会被杀死   原文地址:https://www.cnblogs.com/yanghaotai/p/9564566.html

使用Jenkins自动部署nodejs应用

想必部署过nodejs应用的朋友都有过这样的经历: 1.通过ssh登录服务器 2.进入nodejs目录 3.执行:git pull 命令拉取最新代码 4.执行:npm install 安装新依赖 5.执行:pm2 restart all 重新启动所有nodejs进程 如果我们只有一台机器,并且更新不是很频繁,似乎这样的操作还是可以接受,但是如果我们有4台nodejs应用的服务器,每次的代码改动将是灾难! 好在我们有Jenkins帮助我们做这些事情,Jenkins是一个可以自动远程部署,执行远程脚

jenkins自动部署tomcat

关于部署的3种思路: 远程部署(jenkins编译部署到远程服务器): 安装ssh插件 ssh插件配置 添加远程jenkins服务器节点: 本地部署(与jenkins在同一服务器): 关于maven构建的两种选择: 直接选择maven插件 自带插件(): 插件配置(或直接新建maven项目):   添加shell编译过程,通过shell调用服务器的maven环境 jenkins配置: export BUILD_ID=XXXXXX # 必须得加,原因未知,否则无法启动tomcat export p

Jenkins自动部署发布Java代码(完整教程)

一.需求 Jenkins大多数情况下都是用来部署Java项目,上一篇博客已经写了自动打包Java项目,但在现实应用中,Jenkins很强大的,可以做到自动打包发布Java项目.这篇文章,将引导大家完成完整的Java项目(自动发布代码功能)! 二.实验环境 三.实验步骤 1.搭建tomcat 服务(在192.168.22.129服务器上) (1)先安装jdk1.8 jdk和tomcat 下载地址: https://pan.baidu.com/s/1URk88Tp2Io0eUEMo1WpoCg 提取

VMware利用ovftool自动部署/导出模板

一.简介 OVF(Open Virtualization Format)是多家虚拟化厂商和硬件厂商共同定义的一个虚拟设备的规范,ovf格式的虚拟设备(其实就是一些文件)可以被多家虚拟化软件设备并import到虚拟化环境,比如VMware.XenServer.VirtualBox等等.OVF一般有几个部分组成,分别是ovf文件.mf文件.cert文件.vmdk文件和iso文件.OVF(Open Virtualization Format:开放虚拟化格式 )和OVA(Open Virtualizat