自动化运维持续集成

互联网软件的开发和发布,已经形成了一套标准流程,最重要的组成部分就是持续集成(Continuous integration,简称 CI)。
持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。
它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。
讨论关注以下几点:

持续集成概念的理解。
了解持续交付和持续部署。
熟悉持续集成操作流程。

一、概述
持续集成流程:

开发团队 -> 源代码编码(开发语言)-> 代码版本控制(Gitlab) -> Docker 构建(创建镜像)-> 静态代码分析(白盒测试)-> 自动化单元测试 -> 代码覆盖率(覆盖率测试)-> Docker 版本(发布到容器)-> 提供部署到测试环境 -> 自动化功能测试 -> 发布报告 -> 生产部署


二、持续集成


CI 过程:代码编写 -> 源代码库(GitHub or gitlab)-> CI 服务器(代码构建、自动化测试、结果反馈【构建结果】)
涉及 CI 工具:Jenkins、Travis CI、TeamCity、Gitlab CI、CircleCI、Codeship 等,相关资料可以查询对应的官网,其中应用广泛的 Jenkins 和 Travis CI,Gitlab CI 是开源的 Rails 项目 GitLab 的一个组成部分,GitLab CI 能与 GitLab 完全集成,可以通过使用 GitLab API 轻松地作为项目的钩子。

持续集成构建目的:

及早发现集成错误,且由于修订的内容较小所以易于追踪,这可以节省专案的时间与成本。
避免发布日期的前一分钟发生混乱,当每个人都会尝试为他们所造成的那一点点不相容的版本做检查。
当单元测试失败或发生错误,若开发人员需要在不除错的情况下还原程式码库到一个没有问题的状态,只需要放弃一小部份的更改(因为集成的次数频繁)。
让“最新”的程式可保持可用的状态供测试、展示或发布用。
频繁的提交程式码会促使开发人员建立模组化,低复杂性的程式码。

持续集成自动化测试目的:

强制执行频繁的自动化测试纪律
当改变对全系统造成影响时立即反馈
自动化测试和持续性集成产生的软件度量(如代码覆盖度量,代码复杂度和功能完整性等)标准将开发人员集中在开发功能性,高品质的程式码上,并帮助开发团队发展。

持续集成存在的问题:

构建一个自动化测试套件需要大量的工作,包括不断努力以覆盖新功能,并依照特定情境进行程式码修改,持续性集成可以在不需要测试套件下执行,但是必须手动和经常地完成,生产产品的品质保证成本将会提高。
构建构建系统需要一些工作,而且可能变得复杂,难以灵活修改。但是,也有一些开放源代码的持续集成的专案软件可以使用。
如果范围很小或包含无法测试的旧版代码,持续性集成不一定有价值。
增加的价值取决于测试的品质以及代码的真实可测性。
较大的团队意味著不断将代码添加到集成队列中,因此追踪交付(同时保持品质)很困难,而排队可能会减慢所有人的进度。
通过一天的多次提交和合并,功能的部分代码可以轻松推送,如此一来集成测试将会失败直到整个功能开发完成。

三、持续交付(Continuous delivery,缩写为 CD)

持续集成 -> 再次测试 -> 结果发布

CD 是一种软件工程手法,让软件产品的产出过程在一个短周期内完成,以保证软件可以稳定、持续的保持在随时可以释出的状况。它的目标在于让软件的建立、测试与释出变得更快以及更频繁。这种方式可以减少软件开发的成本与时间,减少风险。
持续交付与 DevOps 的含义很相似,所以经常被混淆。但是它们是不同的两个概念。DevOps 的范围更广,它以文化变迁为中心,特别是软件交付过程所涉及的多个团队之间的合作(开发、运维、QA、管理部门等),并且将软件交付的过程自动化。另一方面,持续交付是一种自动化交付的手段,关注点在于将不同的过程集中起来,并且更快、更频繁地执行这些过程。因此,DevOps 可以是持续交付的一个产物,持续交付直接汇入 DevOps。
持续交付也与持续部署混淆。持续部署意味著所有的变更都会被自动部署到生产环境中。持续交付意味著所有的变更都可以被部署到生产环境中,但是出于业务考虑,可以选择不部署。如果要实施持续部署,必须先实施持续交付。


四、持续部署(Continuous Deployment)

持续部署则是在持续交付的基础上,把所有的变更自动部署到生产环境中。

通过以上步骤后,形成一个最终可以部署的版本(artifact),并将相关的版本打包成便于部署的文件包,如:tar.gz、jar 包、war 包等,发布到生产环境。
架设 nexus 私服从内网获取下载依赖库,使用 nexus 私服仅在依赖库第一次获取时需要从中央仓库或其他 maven 仓库中获取,之后便可从内网获取。生产服务器将打包文件,解包成本地的一个目录,再将运行路径的符号链接(symlink)指向这个目录,然后重新启动应用。这方面的部署工具有 Ansible、Chef、Puppet 等。
通过配置管理工具将相应的程序包和配置文件及相关命令或脚本发布到生产服务器,并根据相关的操作来完成这一部署过程。整个部署过程按照(如:ansible-playbook 执行 playbook.yml 来完成)

五、持续集成操作流程

编码 -> 构建 -> 整合 -> 测试 -> 交付 -> 部署 -> 回滚

代码编写,完成代码功能模块。
构建,实现功能模块构建测试,保证该模块当前的可用状态。
测试,单元测试和集成测试,保证各个功能模块的完整性和稳定性。
交付,建立在CI基础上,让软件的构建、测试与最终版本变得更快以及更频繁。
部署,是在持续交付的基础上,把部署到生产环境的过程自动化。
回滚,一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。

Docker + Jenkins + Git 发布 Java 项目持续构建案例

Java 项目开发 -> 提交项目代码 Git 容器 -> Jenkins 容器拉取项目代码 -> Maven 编译构建项目 -> Jenkins 发布项目到 Tomcat 容器 -> 测试

原文地址:https://blog.51cto.com/13981400/2391096

时间: 2024-11-08 01:21:26

自动化运维持续集成的相关文章

自动化运维之Ansible概述及Ansible部署|(持续更新中)

Ansible概述 由于互联网的快速发展导致产品更新换代速度逐渐加快,运维人员每天都要进行大量的维护操作,仍旧按照传统方式进行维护使得工作效率低下.这时,部署自动化运维就可以尽可能安全,高效地完成这些工作. 一般会把自动化运维工具划分为两类:一类是需要使用代理工具的,也就是基于专用的Agent程序来完成管理功能,如:Puppet.Func.Zabbix等:另外一类是不需要配置代理工具的,可以直接基于SSH服务来完成管理功能,如:Ansible.Fabric等. 1.Puppet Puppet基于

自动化运维Ansible之Playbook剧本(持续更新)

附上前两篇关于Ansible的博客地址,以供查阅,欢迎学习交流!自动化运维之Ansible概述及Ansible部署Ansible命令应用之常用模块 Playbook简介 playbook是ansible用于配置,部署,和管理被控节点的剧本. 通过playbook的详细描述,执行其中的一系列tasks,可以让远端主机达到预期的状态.playbook就像Ansible控制器给被控节点列出的的一系列to-do-list,而被控节点必须要完成. 也可以这么理解,playbook 字面意思,即剧本,现实中

自动化运维系列之Ansible的简介与安装【持续更新···】

自动化运维系列之Ansible的简介与安装 自动化运维工具简介 由于互联网的快速发展导致产品更新换代的速度逐渐加快,这就导致运维人员的日常工作会大大增加,如果还是按照传统方式进行维护工作会使工作效率低下.此时,就需要部署自动化运维了,自动化运维会尽可能安全.高效的完成运维人员的日常工作. 自动化运维工具划分为两类:一类是需要使用代理工具的,也就是基于专用的Agent程序来完成管理功能,如:Puppet.Func.Zabbix等:另一类是不需要配置代理工具的,可以直接基于SSH服务来完成管理功能,

自动化运维系列之Ansible命令应用基础(模块的应用)【持续更新中···】

自动化运维系列之Ansible命令应用基础(模块的应用) 模块简介 Ansible可以使用命令行方式进行自动化管理,基本语法如下: ansible <host-pattern> [-m module_name] [-a args] <host-pattern> 对哪些主机生效 [-m module_name] 需要使用的模块 [-a args] 模块特有的参数,这里在使用时需加单引号哦! Ansible的命令行管理工具都是由一系列模块.参数所支持的,可以在命令行后加上-h或--he

游戏运维的最佳实践:搜狐畅游自动化运维之旅!

搜狐黎志刚见证了畅游游戏自动化运维平台的从无到有,通过在其中踩过的坑.解过的结,他向大家来阐述游戏运维的进阶之路.本文主要围绕畅游游戏管理体系与运维自动化的演变历程.运维自动化的实现及未来运维四方面展开. 畅游运维管理体系与运维自动化的演变历程 畅游运维管理体系演变历程 从 2008 年毕业以实习生的身份进入搜狐畅游,我同公司一起成长,经历了整个运维管理体系从小到大的过程. 整个运维管理体系是从最初石器时代(脚本化),之后的青铜时代(半自动化).蒸汽时代(DevOPS)一路演变过来,现在处于自动

中小型企业通用自动化运维架构

第1章 自动化运维架构 主要讲解了自动化运维的概念,分析了现在的自动化运维的面临的挑战.基于我对自动运维的理解,提出了中小企业自动化运维架构,并讲解了该架构.后续的章节,主要是实现这个架构. 1-1 课程介绍 1-2 自动化运维流程 第2章 服务器批量管理 Ansible Ansible作为一个优秀的IT资产管理.配置工具,这一章主要讲解了Ansible的使用,包括Ansible的安装.配置.使用,并且在课程的最后,结合我们公司业务的需求,实际演示了如何使用Ansible Playbook功能实

云计算视频教程:Linux大型网站高并发架构及自动化运维

随着互联网技术的不断进步和发展,对运维人员提出了更高的要求和挑战,如何才能将运维工作自动化,提升工作的效率?让大家学完后可以具备企业真正的大型网站搭建能力以及自动化运维的实战能力.在企业中运用zabbix监控企业数据,第一时间了解服务的运行状态,通过nginx+lvs+keeplived在企业中根据公司业务做七层负载以及四层负载. 下面给大家分享一下Linux大型网站高并发架构及自动化运维的学习内容: 01-初识ansible 02-ansible-Ad-Hoc-重点模块学习 03-ansibl

linux 自动化运维之Cobbler

一.Cobbler 简介 1.Cobbler 概述 Cobbler由python语言开发,是对PXE和Kickstart以及DHCP的封装.融合很多特性,提供了CLI和Web的管理形式.更加方便的实行网络安装.同时,Cobbler也提供了API接口,使用其它语言也很容易做扩展.它不紧可以安装物理机,同时也支持kvm.xen虚拟化.Guest OS的安装.更多的是它还能结合Puppet等集中化管理软件,实现自动化的管理. 2.新旧对比 以前自动化安装系统得先设置一个网络环境,可是设置网络环境涉及到

Linux下的自动化运维ansible工具

什么是自动化运维     随着信息时代的持续发展,IT运维已经成为IT服务内涵中重要的组成部分.面对越来越复杂的业务, 面对越来越多样化的用户需求,不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷.安 全稳定地持续保障,这种模式中的保障因素就是IT运维(其他因素是更加优越的IT架构等).从初期的 几台服务器发展到庞大的数据中心,单靠人工已经无法满足在技术.业务.管理等方面的要求,那么标 准化.自动化.架构优化.过程优化等降低IT服务成本的因素越来越被人们所重视.其中,自动化最开始作