基于Jenkins,docker实现自动化部署(持续交付)

前言

随着业务的增长,需求也开始增多,每个需求的大小,开发周期,发布时间都不一致。基于微服务的系统架构,功能的叠加,对应的服务的数量也在增加,大小功能的快速迭代,更加要求部署的快速化,智能化。因此,传统的人工部署已经心有余而力不足。
持续集成,持续部署,持续交互对于微服务开发来说,是提高团队整体效率不可或缺的一环。合理的使用CI,CD能够极大的提高了生产效率,也提高了产品的交互质量。本文不对三个概念做过多的介绍,有兴趣可以读读这篇文章:The Product Managers’ Guide to Continuous Delivery and DevOps 我想会有一定的收获。
本文主要介绍下基于Jenkins+docker 实现自动化部署

希望阅读此文对maven,docker的使用有一定的了解

Jenkins + Docker

下图是构想的网络结构图

大体结构

  1. 开发人员在gitLab上打了一个tag
  2. gitLab把tag事件推送到Jenkins
  3. Jenkins 获取tag源码,编译,打包,构建镜像
  4. Jenkins push 镜像到阿里云仓库
  5. Jenkins 执行远程脚本
    5-1. 远程服务器 pull 指定镜像
    5-2. 停止老版本容器,启动新版本容器
  6. 通知测试人员部署结果

基于maven构建镜像,上传阿里云docker仓库

maven 构建镜像配置

pom.xml 文件添加docker插件

<plugin>
    <groupId>com.spotify</groupId>
    <artifactId>docker-maven-plugin</artifactId>
    <version>0.4.11</version>
    <configuration>
        <imageName>${docker.image.prefix}/${project.artifactId}</imageName>
        <imageTags>
            <imageTag>${project.version}</imageTag>
            <imageTag>latest</imageTag>
        </imageTags>
        <dockerDirectory>src/main/docker</dockerDirectory>
        <resources>
            <resource>
                <targetPath>/</targetPath>
                <directory>${project.build.directory}</directory>
                <include>${project.build.finalName}.jar</include>
            </resource>
        </resources>
    </configuration>
</plugin>
  • ${docker.image.prefix} 是镜像的前缀
  • ${project.artifactId} 是镜像名字
  • ${project.version} 版本号,此处也用来当做镜像的版本号

docker-maven-plugin 使用可以自行百度。

src/main/docker 目录下新增文件 Dockerfile,内容如下:

FROM frolvlad/alpine-oraclejdk8:slim
VOLUME /tmp
ADD demo-service-ver-0.0.1.jar app.jar
RUN sh -c ‘touch /app.jar‘
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]

以上的配置可以把一个服务打包成镜像,只需要执行

  $ sudo mvn package docker:build

阿里云docker仓库使用

注册或者启用阿里云docker仓库就不赘述。下面简单介绍上传拉取docker镜像

  • 登录

    $ sudo docker login --username=用户名 --password=密码 registry-internal.cn-hangzhou.aliyuncs.com
  • push 之前生成的镜像
    $ sudo docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[镜像版本号]
    $ sudo docker push registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[镜像版本号]

    xxx : 是你镜像仓库的namespace

    一堆push后,你就可以在阿里云的Docker镜像仓库里面看到你对应的镜像了。下图是我们公司的部分镜像列表

    • 镜像列表

  • pull 镜像

    登录操作同上

    $ sudo docker pull  registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[镜像版本号]

jenkins 部署配置

构建Jenkins镜像

FROM jenkins
USER root
RUN apt-get update && apt-get install -y sudo && rm -rf /var/lib/apt/lists/*
RUN echo "jenkins ALL=NOPASSWD: ALL" >> /etc/sudoers
USER jenkins

一开始使用官方的镜像直接启用,一些插件和配置多少都有点问题,比如不能使用sudo,等等。因此基于官方镜像构建一个更符合我们需要的镜像。

构建命令:

 $ sudo docker build -t buxiaoxia/jenkins:1.0

启动Jenkins容器

sudo docker run --memory 1.5G  --name buxiaoxia-jenkins \
-p 18181:8080 -p 50000:50000 -u root -d \
--env JAVA_OPTS="-Xms256m -Xmx512m  -XX:MaxNewSize=256m"  \
-v /var/run/docker.sock:/var/run/docker.sock   \
-v /usr/bin/docker:/usr/bin/docker  \
-v /home/buxiaoxia/software/jenkins:/var/jenkins_home  -v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 buxiaoxia/jenkins:1.0

简单解释下:

-v /var/run/docker.sock:/var/run/docker.sock 与 -v /usr/bin/docker:/usr/bin/docker是把宿主机docker 映射到容器内。

-v /home/buxiaoxia/software/jenkins:/var/jenkins_home 指定Jenkins的宿主机存储路径

-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 在centos7 系统下会出现个别的包丢失,对应的引下宿主机的包就可以。

docker在容器内构建的时候,如果出现权限不够什么的。可以在宿主机中使用以下两种方式:

  $ sudo chmod 777 /var/run/docker.sock

或者

  $ usermod -a -G docker jenkin

jenkins 启动后,访问对应的Jenkins页面,初始化只要一步步跟着走就可以了。

Jenkins配置

插件下载

所需要的插件:

  • Maven Integration plugin
  • docker-build-step
  • Docker plugin
  • Gitlab Hook Plugin
  • GitLab Plugin

因为使用的是gitlab,对应的插件也是必须的。下载完插件后,maven等相关插件配置好(此处省略...)

maven 镜像地址配置

可以直接在宿主机修改,路径在:/home/buxiaoxia/software/jenkins/tools/hudson.tasks.Maven_MavenInstallation/maven3-1/conf 下的settings.xml

setting.xml 镜像改成阿里云的就OK,飞起。。。

新建一个maven job

源码配置
构建
构建后执行特定脚本

脚本内容如下:

echo ‘================开始推送镜像================‘
sudo docker login --username=用户名 --password=密码 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker push registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo ‘================结束推送镜像================‘
echo ‘================开始远程启动================‘
ssh [email protected] -tt << remotessh            ###首先要ssh上去注意这里的<< remotessh,需要做公钥密钥

####从这里开始都是在远程机器上执行命令
cd /home/buxiaoxia/xiaw
./jenkins.sh registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
sudo docker login --username=用户名 --password=密码 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker pull registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service

sudo docker run -d -m 300m  --name=demo-service-`date +%Y-%m-%d` --restart=always registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo "finished!"

#####执行完毕

exit  ###退出远程机器
remotessh  ###结尾哦
echo ‘================结束远程启动================‘

jenkins.sh 脚本内容:

#!/bin/sh
sudo docker stop $(sudo docker ps | grep $1|awk ‘{print  $1}‘|sed ‘s/%//g‘)

以上就完成了一个简单的自动化构建

gitlab配置webhook

Jenkins安装完对应的gitlab插件,配置中的构建触发选择如下

复制红框中的url

再在gitlab的对应项目中webhooks页面中的url填入前面复制的url

保存即可,右下角可以点击测试哦。

配置完成后,每次该项目有个tag push event ,都会触发Jenkins的自动构建。接着,Jenkins就执行 拉取源码 -> 编译 -> 构建镜像 -> 推送镜像 -> 执行远程启动脚本完成部署。

总结

一步步的配置,基本就跑通了我们基于Jenkins,docker实现自动化部署的初始版本。开发人员完成功能开发后,需要交互一个测试版本,只需要推送一个tag到git仓库,就能够将代码自动部署到特定的服务器上。可喜可贺~ 可以省去一堆的从一个服务器跑到另一个服务器,然后执行各种命令的琐碎操作。。。

关于配置

目前我是使用了consul的配置共享,把不同环境的配置放在了consul上,镜像中没有保留可变的配置,而是根据启动的参数就可以自由切换环境配置。
当然,consul的配置共享可以看看我git上关于consul的项目:http://git.oschina.net/buxiaoxia/spring-demo

存在问题

  • docker未使用编排,较为独立,需要知道特定的服务器网络位置
  • docker镜像的push与pull,都需要明文执行阿里云账号密码,可进一步改进
  • 未构建版本回退流程
  • shell脚本健壮性不够,异常未处理

优化

可以针对以上问题做相应的优化,完善初始化版本的CD流程。例如,docker 使用swarm,让swarm管理docker 容器等等。

我自己的设想:

更多参考:

k8s+Jenkins+GitLab-自动化部署:

https://blog.csdn.net/ahilll/article/details/81979947?tdsourcetag=s_pcqq_aiomsg

gitlab+jenkins+docker+harbor+k8s自动化开启docker服务:

https://blog.csdn.net/su4416160/article/details/78574344?tdsourcetag=s_pcqq_aiomsg

参考:

正版 DevOps开发运维训练营米泰什DevOps实践参考简明实用轻松部署自动化测试

DevOps过程实践

持续集成、持续交付、持续部署和DevOps

一张图带你了解持续交付和DevOps的前世今生

原文地址:https://www.cnblogs.com/jovic/p/10052372.html

时间: 2024-10-13 16:00:04

基于Jenkins,docker实现自动化部署(持续交付)的相关文章

基于Jenkins+Gitlab的自动化部署实战

故事背景 一个中小型企业,是典型的互联网公司,当初期的时候可能运维只能标配到2~3人,此时随着公司的发展,项目会逐渐增多.前期部署项目可能都是手动的, 俗称"人肉部署",这简直是无比的痛苦,不能忍受的.这样开发的时间也会耽误,运维的时间也会耽误,全都浪费在这些重复性的工作上面,毫无价值可言, 这时候运维终于忍受不了,上了脚本.但是慢慢的发现项目依旧在增长,脚本每次还要更改给开发,效率低下,后来测试环境以及开发环境直接上了jeknins, 每台开发机器是jeknins agent端,自此

.net core 项目+jenkins+git+docker实现自动化部署

一.准备环境 1.1 运行环境Linxu系统 CentOS7.5[腾讯云] 1.2 安装Docker https://www.cnblogs.com/bob-zb/p/12401407.html 1.3 在Docker中安装jenkins https://www.cnblogs.com/bob-zb/p/12402368.html 1.4 准备git仓库,本人使用的是码云 二.创建.net core 项目 创建成功后会自动生成Dockerfile 文件,未对Dockerfile 做任何修改,然后

centos7+docker+Jenkins+svn搭建自动化部署平台

centos7+docker+Jenkins+svn搭建自动化部署平台 1. centos7 参考链接:http://www.macrozheng.com/#/reference/linux_install tips 公司服务器配置(1T机械+256固态+i7的u) 需要我们把系统,环境(java,mysql,redis,docker等)装到固态上(速度快),我们的代码放到机械上.分区情况如下图 2. centos7中安装docker1.31.1 自行百度,此处无坑 3. centos7安装配置

基于 Jenkins+Docker+Git 的CI流程初探

在如今的互联网时代,随着软件开发复杂度的不断提高,软件开发和发布管理也越来越重要.目前已经形成一套标准的流程,最重要的组成部分就是持续集成(Continuous Integration,CI)及持续部署.交付(CD).在此,我们来以一个案例初步了解 CI 流程.那么什么是 CI 呢?简单来讲,CI 就是将传统的代码合并.构建.部署.测试都集成在一起,不断地执行这个过程,并对结果进行反馈. CI 流程设计图: 工作流程: 1. 开发人员提交代码到Git版本仓库:2. Jenkins人工/定时触发项

Jenkins+Gitlab+Ansible自动化部署(六)

Pipeline Job实现Nginix+MySQL+PHP+Wordpress实现自动化部署交付(Jenkins+Gitlab+Ansible自动化部署(五)https://www.cnblogs.com/zd520pyx1314/p/10249094.html) 环境准备 编写ansible playbook脚本实现Wordpress远程部署 将wordpress源码与playbook部署脚本提交到gitlab仓库 编写pipeline job脚本实现Jenkins流水线持续交付流程 Jen

基于Jenkins+git+gradle的android持续集成,jenkinsgradle

转载:http://www.android100.org/html/201506/22/156680.html 基于Jenkins+git+gradle的android持续集成,jenkinsgradle 本文参考了: http://my.oschina.net/uboluo/blog/157483 http://java.dzone.com/articles/automating-continuous 以前都是通过IDE(eclipse or Android Studio)手动生成apk通过Q

Docker+Jenkins+Go完成自动化部署

安装docker 安装所需的包.yum-utils提供了yum-config-manager 效用,并device-mapper-persistent-data和lvm2由需要 devicemapper存储驱动程序. yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 使用以下命令设置稳定存储库. yum-config-manager \ --add-repo \ https://download.docker.com/

jenkins + pipeline构建自动化部署

一.引言 Jenkins 2.x的精髓是Pipeline as Code,那为什么要用Pipeline呢?jenkins1.0也能实现自动化构建,但Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里,将原本独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂流程,形成流水式发布,构建步骤视图化.简单来说,Pipeline适用的场景更广泛,能胜任更复杂的发布流程.举个例子,job构建工作在master节点,自动化测试脚本在slave节点,这时候je

Jenkins+Ansible+Gitlab自动化部署三剑客

最近一直在学习Ansible的一些playbook的写法, 所以一直没有怎么更新, 想到目前大家对诸如saltstack, docker, Ansible等自动化部署相关的工具很感兴趣, 但又苦于没有可学习的中文实例, 这里我就把我这几个月所接触到目前国外比较流行的部署经验给大家分享一下. 首先给大家介绍的是Ansible, 恩, 重要的问题说三遍, 不是Saltstack, Ansible作为一个python写的自动化部署工具, 确实较之前我所接触的Chef, saltstack, puppe