jenkins+git+maven 增量部署思路以及相关脚本

之前通过jenkins+Git+maven这种方式打war包然后scp到测试环境使用,但是现在项目组要求打增量包,即只部署修改的文件和配置文件。

核心问题:如何获取到变动的文件???

前置条件:初始化部署需要人工进行

操作步骤:

1、配置git从远程端check代码。

2、使用maven打包

3、把class目录和war包传到部署服务器(因为我们打包和执行deploy的服务器分开的,如果是一台不需要改操作)

4、最核心的一步,记录改变的文件的日志。使用的git自带的git diff --stat 命令把修改的文件的名字写到change.log中

PS:原图中名为test.sh的shell脚本的源码在最下边

5、新增的文件和修改的通过第四步可以提取name出来但是删除的不可以,所以还要对已经部署但是删除的文件进行检测

6、现在我们的测试部署端就已经得到新增+删除的log了,在另服务器端使用Python脚本进行文件的替换代码见下,如果使用过程中有问题或者优化建议欢迎留言讨论。

[plain] view plain copy

  1. # !/bin/sh
  2. # auth andre.yang
  3. dir=$1
  4. workspace=$2
  5. cd $workspace
  6. str=$(sed -n ‘1,1p‘ $workspace/version.txt)
  7. cd $dir
  8. cat ${str#*:}.log change.log > change2.log
  9. mv change2.log ${str#*:}.log
  10. sort ${str#*:}.log |uniq > ${str#*:}_2.log
  11. mv ${str#*:}_2.log ${str#*:}.log

python 脚本见下,注非本人原创在征得同事允许后上传

------------------------------------------------------------------------------华丽的分割线----------------------------------------------------------------


[plain] view plain copy

  1. # coding=utf-8
  2. # !/usr/bin/env python
  3. # __author__ = ‘Caroline‘
  4. import os
  5. import glob
  6. import shutil
  7. import time
  8. # 用于查找指定文件的路径
  9. def find_path(filedir, filename):
  10. file_path = []
  11. for root, dirs, files in os.walk(filedir):
  12. if filename in files:
  13. path = root + ‘/‘ + filename
  14. file_path.append(path)
  15. if len(file_path) == 1:
  16. return file_path[0]
  17. else:
  18. return file_path
  19. # 对应项目的changelog目录
  20. CHANGES_DIR = ‘/var/lib/jenkins/changes/tools‘
  21. # 最新的代码包目录,代码包目录命名要求,
  22. # 路径中不能出现相同的目录名
  23. # 即 /var/lib/jenkins/changes/changes/tools/monkey不允许
  24. # 存在相同的目录名字changes
  25. SOURCE_DIR = ‘/var/lib/jenkins/changes/tools/monkey‘
  26. #存放源码的目录的名称
  27. #切记!!!!和需要替换的源码的目录级别要相同
  28. SOURCE_DIR_NAME = ‘monkey‘
  29. # 需要替换的代码包目录
  30. # 路径中不能出现相同的目录名
  31. # 即 /var/lib/jenkins/changes/changes/tools/monkey不允许
  32. # 存在相同的目录名字changes
  33. #切记!!!!和需要替换的源码的目录级别要相同
  34. TARGET_DIR = ‘/home/test/ROOT‘
  35. # 获取需要删除的文件
  36. delete_files = glob.glob(‘%s/D*.log‘ % CHANGES_DIR)
  37. # 读取删除文件内容
  38. delete_lines = []
  39. if len(delete_files) == 1:
  40. f = open(delete_files[0], "r")
  41. delete_lines = f.readlines()
  42. else:
  43. raise Exception(‘Dfile is not one‘)
  44. # 解析文件内容,获取要删除的文件名字
  45. d_names = []
  46. for line in delete_lines:
  47. # 解析line,获取文件名
  48. file_names = line[:-1].split(‘/‘)
  49. d_name = file_names[-1]
  50. d_names.append(d_name)
  51. # 获取需要替换的文件
  52. modify_files = glob.glob(‘%s/[!D]*.log‘ % CHANGES_DIR)
  53. # 读取文件内容
  54. modify_lines = []
  55. if len(modify_files) == 1:
  56. f = open(modify_files[0], "r")
  57. modify_lines = f.readlines()
  58. else:
  59. raise Exception(‘Mfile is not one‘)
  60. # 解析文件内容,获取要替换的文件名字
  61. m_names = []
  62. for line in modify_lines:
  63. # 解析line,获取文件名
  64. file_names = line[:-1].split(‘/‘)
  65. m_name = file_names[-1]
  66. m_names.append(m_name)
  67. # step1:替换修改的文件
  68. # 创建目录用于存放修改前的文件
  69. modify_dir = ‘%s/modify‘ % CHANGES_DIR
  70. os.mkdir(modify_dir)
  71. # 记录替换的文件
  72. f = open(‘%s/modify.log‘ % modify_dir, ‘w‘)
  73. # 开始进行文件替换,并将未替换的文件记录下来,作为增加的文件增加,新建一个列表用于存储替换的文件名字
  74. m_file_names = []
  75. for root, dirs, files in os.walk(TARGET_DIR):
  76. for file in files :
  77. if file in m_names:
  78. # 拼接路径
  79. full_path = root + ‘/‘ + file
  80. # 把修改的文件的全路径写入到modifylogs文件中
  81. f.write(‘modify : %s\n‘ % full_path)
  82. # mv原来的文件到modify文件夹中
  83. shutil.move(full_path, ‘%s/%s‘ %(modify_dir, file))
  84. #更换文件,首先遍历,获取新文件路径
  85. new_file_path = find_path(SOURCE_DIR, file)
  86. #将新文件换到对应target的目录下
  87. shutil.copy(new_file_path, full_path)
  88. #将该file的名字,写入到m_file_names列表
  89. m_file_names.append(file)
  90. # 将待添加的文件名字取出
  91. a_file_names = list(set(m_names) - set(m_file_names))
  92. print a_file_names
  93. # 获取在最新的代码包目录中这个文件的绝对路径
  94. for name in a_file_names:
  95. #需要增加的文件的绝对路径
  96. full_path = find_path(SOURCE_DIR, name)
  97. print full_path
  98. #截取该文件的上级路径
  99. file_dirs= full_path.split(‘/‘)
  100. #找到第一个sourcedirname,获取其索引
  101. num = file_dirs.index(SOURCE_DIR_NAME)
  102. #对列表进行切片,获取相对路径
  103. relative_path = ‘/‘.join(file_dirs[(num+1):])
  104. #获取相对文件夹路径
  105. relative_dir_path = ‘/‘.join(file_dirs[(num+1):-1])
  106. #需要增加至的绝对路径
  107. real_path = TARGET_DIR + ‘/‘ + relative_path
  108. #需要增加至的绝对文件夹路径
  109. real_dir_path = TARGET_DIR+ ‘/‘ + relative_dir_path
  110. #创建文件夹
  111. os.popen(‘mkdir -p %s‘ % real_dir_path)
  112. #记录增加文件的全路径
  113. f.write(‘add:%s --  %s \n‘ %(full_path, real_path))
  114. #copy 文件至指定位置
  115. shutil.copy(full_path, real_path)
  116. f.close()
  117. # step2:删除指定文件
  118. #创建目录用于存放删除的文件
  119. delete_dir = ‘%s/delete‘ % CHANGES_DIR
  120. os.mkdir(delete_dir)
  121. # 获取删除文件的全路径并删除
  122. f = open(‘%s/delete.log‘ % delete_dir, ‘w‘)
  123. for root, dirs, files in os.walk(TARGET_DIR):
  124. for file in files:
  125. if file in d_names:
  126. # 拼接路径
  127. full_path = root + ‘/‘ + file
  128. # 把删除的文件的全路径写入到deletelogs文件中
  129. f.write(‘%s\n‘ % full_path)
  130. #将删除的文件转移到指定目录:
  131. new_path = ‘%s/%s‘ % (delete_dir, file)
  132. shutil.move(full_path, new_path)
  133. f.close()
  134. # step3:处理log文件
  135. # 最终将所有的log信息打包并加上时间戳
  136. # 根据时间戳定义压缩文件夹的名字
  137. log_dir_name = ‘%s/%s‘ % (CHANGES_DIR, time.strftime(‘%Y-%m-%d-%H-%M‘,time.localtime(time.time())))
  138. os.mkdir(log_dir_name)
  139. # 将modify的log文件转移至新文件夹内
  140. shutil.copytree(modify_dir, ‘%s/%s‘ % (log_dir_name, ‘modify‘))
  141. shutil.rmtree(modify_dir)
  142. # 将delete的log文件转移至新文件夹内
  143. shutil.copytree(delete_dir, ‘%s/%s‘ % (log_dir_name, ‘delete‘))
  144. shutil.rmtree(delete_dir)
  145. # 将文件夹里的后缀名为log的文件转移到新文件夹内
  146. shutil.move(delete_files[0], log_dir_name)
  147. shutil.move(modify_files[0], log_dir_name)
时间: 2024-10-25 22:24:12

jenkins+git+maven 增量部署思路以及相关脚本的相关文章

CentOS6.8 部署Tomcat+jenkins+git+maven 持续集成

CentOS6.8 部署Tomcat+jenkins+git+maven 持续集成 一.环境介绍: 1.操作系统:CentOS 6.8  IP:192.168.1.100 2.JDK版本:jdk1.8.0_101 3.Tomcat版本:tomcat-9.0.0.M21 4.jenkins版本: Jenkins ver. 2.46.3 5.git版本:git version 2.9.4 6.maven版本:3.5.0 二.环境部署 1.下载所需软件包 # mkdir /tmp/soft ; cd

jenkins+git+maven搭建自动化部署项目环境

简介    折腾了两个晚上,趁着今晚比较有空,把jenkins+git+maven搭建自动化部署项目环境搭建的过程记录一下,这里我把github作为git的远程仓库(https://github.com/jacky-        lulu/cxf_demo-Maven-Webapp)     系统:centos6.5 maven: Apache Maven 3.3.9 git:git version 2.0.0 1.首先安装git,看以前另外一篇博客 http://www.cnblogs.co

Jenkins + Git + Maven + tomcat集成环境搭建

折腾了好几天,终于吧Jenkins + Git + Maven + tomcat集成环境搭建起来了,最终主要实现"自动构建.部署"web应用. 1.安装环境 操作系统:Centos 6.5 JDK:1.7.x Maven:3.1.x Git: 1.7.1,自建GitLab平台 tomcat:7.x 上述宿主机器2台:192.168.1.194,192,168.1.198,其中194位Jenkins Master,198位slave. 2.第三方安装安装和环境配置 JDK.Git.Mav

jenkins+gitlab+maven+docker部署项目之jenkins用户权限管理

一.用户管理 jenkins自身带有权限管理,入口:系统管理-->全局安全配置,这里的权限配置太过简略,没有角色的概念,显然无法满足我们复杂的需求,所以在这个时候引入了 Jenkins 的一个插件:Role-based Authorization Strategy 安装插件:Role-based Authorization Strategy,插件管理-->可选插件搜索一下点击安装,安装完后重启就可以使用该插件 系统管理-->全局安全配置,然后用重新登录一下 系统管理-->Manag

CentOS7.0 部署Tomcat+jenkins+git+maven+ant

此篇献给初学者 一.环境介绍:     1.操作系统:CentOS 7.0  IP:192.168.137.128     2.JDK版本:jdk1.8.0_101     3.Tomcat版本:tomcat-9.0.0.M21     4.jenkins版本: Jenkins ver. 2.46.3     5.git版本:git version 2.9.4     6.maven版本:3.5.0     7.ant版本:version 1.10.1 二.环境部署     1.下载所需软件包

jenkins+ git +maven 自动持续集成部署

1.安装jenkins,官网地址https://jenkins.io/ 2.配置jenkins的全局配置 3.安装必须的插件  这个是部署的插件 Deploy to container Plugin,这是maven的插件 Maven Integration plugin 4.项目配置 6.tomcat 的配置 打开conf目录下面的tomcat-users.xml 添加以下内容<user username="admin" password="admin" ro

Jenkins+git+maven 打包构建部署

Jenkins+git+maven的使用

jenkins Jenkins是基于Java开发的一种持续集成工具,用于监控持续重复的工作,他的主要功能有两点:1.持续的软件版本发布/测试项目,2.持续的软件版本发布/测试项目 git 版本控制工具,作用跟svn一样,但是git是分布式的,存储的是元数据,并且性能比svn高 maven 用于管理项目依赖的 在使用jenkins的时候,首先是要安装好jdk,maven,tomcat,以及一种版本控制工具,我是用git的,安装jenkins很简单,官网上有各个平台的版本,本来我的电脑是mac的,开

「Jenkins+Git+Maven+Shell+Tomcat持续集成」经典教程

Jenkins 是一个开源软件项目,旨在提供一个开放易用的软件平台,使软件的持续集成变得可能.现在软件开发追求的是效率以及质量,Jenkins使得自动化成为可能! 亮点 采用shell自定义脚本,控制集成部署环境更加方便灵活 精简war包中的lib包,常驻tomcat里,减少war包传输时间 Jenkins 用户权限管理,不让淘气鬼乱动 构建失败发邮件通知相关人员解决 自动按天备份war包,Jenkins配置备份以及版本控制化 环境 Ubuntu 14.10 (GNU/Linux 3.16.0-