持续集成与devops

持续集成

持续集成(Continuous integration,简称C1),简单的说持续集成就是频紧地(一天多次)将代码集成到主干,它的好处主要有两个:1、快速发现错误。每完成一次更新,就集成到主干,可以快速发现错误,定位错误也比较容易。2、防止分支大幅偏离主干。如果不是经常集成,主干又在不断更新,会导致以后集成的难度变大,甚至难以集成。持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。。

持续交付

持续交付(Cortinuous delivery)指的是,频繁地将软件的新版本,交付给质量团队或者用户,以供评审。如果评审通过,代码就进入生产阶段。

持续交付可以看作持续集成的下一步。它强调的是,不管怎么更新,软件是随时随快可以交付的。

持续部署

持续部署(continuous deployment)是持续交付的下一步,指的是代码通过评审以后,自动部署到生产环境。持续部署的目标是,代码在任何时刻都是可部署的,可以进入生产阶段。持续部署的前提是能自动化完成测试、构建、部署等步骤。.

注:持续交付不等于持续集成

持续集成的一般流程

根据持续集成的设计,代码从提交到生产,整个过程有以下几步:

1、提交:流程的第一步是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)。

2、测试(第一轮):代码仓库对commit操作配置了钩子(hook),只要提交代码或者合并进主干,就会跑自动化测试。

3、构建:通过第一轮测试,代码就可以合并进主干,就算可以交付了…

交付后,就先进行构建(build),再进入第二轮测试。所谓构建,指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源(样式表、J5脚本、图片)等等。

常用的构建工具如下。jeknins、Travis、codeship等。

4、测试(第二轮)

构建完成,就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容,第二轮可以省略,当然,这时构建步骤也要移到第一轮测试前面。第二轮是全面测试,单元测试和集成测试都会跑,有条件的话,也要做端对端测试.所有测试以自动化为主,少数无法自动化的测试用例,就要工跑。…

5、部署

通过了第二轮测试,当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tarfilename.tar”)存档,发到生产服务器。

生产服务器将打包文件,解包成本地的一个目录,再将运行路径的符号链接(symlink)指向目录

认识 DevOps

DevOps是什么

DevOps一词的来自于Development和Operations的组合,突出重视软件开发人员和运维人员的沟通合作,通过自动化流程来使得软件构建、测试、发布更加快捷、频繁和可靠。

目前对DevOps有太多的说法和定义,不过它们都有一个共同的思想:“解决开发者与运维者之间曾经不可逾越的鸿沟,增强开发者与运维者之间的沟通和交流”。而我个人认为,DevOps可以用一个公式表达:文化观念的改变+自动化工具=不断适应快速变化的市场。

强调:DevOps是一个框架,是一种方法论,并不是一套工具,他包括一系列的基本原则和实践。,其核心价值在于以下两点:。

更快速地交付,响应市场的变化。

更多地关注业务的改进与提升。为什么需要DevOps?

1、产品选代

在现实工作中,往往都是用户不知道自己想要什么,但是当我们设计完一个产品后,他后告诉我们他们不需要什么,这样我们的产品需要反复的选代,而且过程可能是曲折的,那我们有什么好的办法快速的交付价值,灵活的响应变化呢?答案就是Devops。因为Devops是面向业务目标,助力业务成功的最佳实践。

2、技术革新

现在的IT技术架构随着系统的复杂化不断的革新,从最期的所有服务在一个系统中,发展到现在的敛服务架构、从纯手动操作到全自动流程、从单台物理机到云平台

DevOps如何落地

落实DevOps的指导思想:

高效的协作和沟通、自动化流程和工具、迅速敏捷的开发、持续交付和部署、不断学习和创新。

我们来看一张来自devops 经典著作《success with enterprise dev-ops whitepaper》的介绍图:…

敏捷管理:一支训练有素的敏捷开发团队是成功实施DevOps的关键。

持续交付部署:实现应用程序的自动化构建、部署、测试和发布。

通过技术工具,把传统的手工操作转变为自动化流程,这不仅有利于提高产品开发、运维部

置的效率,还将减少人为因素引起的失误和事故,提早发现问题并及时地解决问题

DepOps在落地实施过程中经常会遇到的问题

人手紧缺

跨部门协作,前期沟通培训成本高

前期投入工作量大见效少。

DevOps技术栈

敏捷管理工具

Trellor、Teambition、Worktile、Tower

产品&质量管理。

confluence、禅道、Jira、Bugzila.

其中confluence和禅道主要是产品的需求、定义、依赖和推广等的全面管理工具;而Jira和Bugzila是产品的质量管理和监控能力,包括测试用例、缺陷跟踪和质量监控等。目前我们使用Jira和禅道较多。

代码仓库管理

Git、Gitlab、Github

Git是一个开源的分布式版本控制系统;Gitlab和Github是用于仓库管理系统的开源项目,它们使用Git作为代码管理工具,并在此基础上搭建起来的web服务。我们主要使用的是Git和Gitlab。

自动化构建脚本

Gradle、Maven、SBT、ANT

虑拟机与容器化

VMware、VirtualBox、Vagrant、Docker

持续集成(C1)&持续部署(CD)

Jenkins、Hudson、Travis CI、Circle CI

Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,日在提供一个开放易用的软件平台,使软件的持续集成变成可能,它的前身为Hudson。Travis CI是目前新兴的开源持续集成构建项目,它与jenkins很明显的区别在于采用yaml格式,简洁清新独树一帜。

Circle CI是一个为web应用开发者提供服务的持续集成平台,主要为开发团队提供测试,持续集成,以及代码部署等服务。

自动化测试

Appium

Appium是一个移动端的自动化框架,可用于测试原生应用,移动网页应用和混合型应用,且是跨平台的。可用于105和Android以及firefox的操作系统。

Selenium

Selenium测试直接在浏览器中运行,就像真实用户所做的一样。Selenium测试可以在Windows、Linux和Macintosh 上的Internet Explorer、Mozilla和Firefox中运行。

Mock测试

Mock测试就是在测试过程中,对于某些不容易构造或者不容易获取的对象,用一个虚拟的对象来创建以便测试的测试方法。这个虚拟的对象就是Mock对象,Mock对象就是真实对象在调试期间的代替品。Java中的Mock框架常用的有EasyMock和Mockito等.

消费者驱动契约测试

契约测试是一种针对外部服务的接口进行的测试,它能够验证服务是否满足消费方期待的契约。当一些消费方通过接口使用某个组件的提供的行为时,它们之间就产生了契约。这个契约包含了对输入和输出的数据结构的期望,性能以及并发性。而PACT是目前比较流的消费者驱动契约测试框架。

自动化运维工具

Ansible、Puppet、Chef、Saltstack

监控管理工具

Zabbixe

Zabbix是一个基于WEB界面的提供分有式系统监视以及网络监视功能的企业级开源解决方案。

ELKStack日志分析系统。

ELK Stack是开源日志处理平台解决方案,背后的商业公司是Eastic。它由日志采集解析工具Logstash、基于Lucene的全文搜索引擎Elasticsearch、分析可视化平台Kibana三部分组成。

云监控(如Amazon CloudWatch)

Amazon CloudWatch 是一项针对AWS云资源和在AWS上运行的应用程序进行监控的服务。您可以使用Amazon CloudWatch收集和跟踪各项指标、收集和监控日志文件、设置警报以及自动应对AWS资源的更改

原文地址:https://www.cnblogs.com/wenyule/p/10005199.html

时间: 2024-10-10 11:56:15

持续集成与devops的相关文章

持续集成与Devops关系

什么是持续集成 持续集成(Continuous Integration,简称CI),是一种软件开发实践,在实践中指只要代码有变更,就自动运行构建和测试,反馈运行结果.通俗一点来讲,就是绑定项目的代码仓库,SVN或者Git库,自动抓取新的代码,完成构建,甚至执行测试,部署到服务器. 持续集成的好处: 能够快速暴露错误. 保证代码提交质量. 定位错误更加容易. 降低整体集成风险. 促进产品快速迭代. 持续集成的特点: 统一的代码库 自动构建/测试 每个人每天都要向代码库主干提交代码 每次代码递交后都

[转载]持续交付和DevOps的前世今生

作者/分享人:乔梁,20年IT老兵,腾讯公司高级管理顾问,敏捷和精益开发专家,持续交付领域先行者.曾就职于百度,国内多个知名互联网公司的企业教练. 历年QCon技术大会的讲师和专题出品人. 这是一个新概念风起云勇的时代. 就让我们从云端抓它几个名词下来,一起玩耍吧!!! “敏捷软件开发”,“增长黑客”,“持续集成”,“DevOps”,“精益创业”,“持续交付”,“大数据”... ... OK,就这四个啦: “敏捷软件开发”,“持续集成”,“DevOps”,“持续交付”. 先让我们在Wikiped

浅谈持续集成的理解以及实现持续集成,需要做什么?

一.持续集成是什么? 持续集成是一种软件开发的实践,即团队开发成员经常集成他们的工作,通常每个成员每天至少集成一次,也就意味着每天可能会发生多次集成.每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽快地发现集成错误.许多团队发现这个过程可以大大减少集成的问题,让团队能够更快的开发内聚的软件. 持续集成指的是,频繁地(一天多次)将代码集成到主干,通过持续集成流程的进行自动化方式的构建,编译和测试,提供可以部署发布的单元包 持续集成的目的,就是让产品可以快速迭代,同时还能保持高

DevOps - 持续集成(Continuous Integration)

持续集成 持续集成(Continuous integration,简称CI)是软件的开发和发布标准流程中最重要的部分. 简单来说,就是持续不断地(一天多次)将代码合并(集成)到主干源码仓库,让产品可以快速迭代,同时保持高质量. 代码每次集成到主干之前,必须通过自动化测试,以便快速发现和定位错误. 持续集成并不能消除Bug,而是让它们非常容易发现和改正. 典型的CI流程 通用的CI流程 签出代码: 从源码管理系统里签出或者克隆最新的代码到本地开发环境 提交(commit): 基于主干分支创建一个新

基于Jenkins打造符合DevOps能力成熟度三级标准的持续集成流水线

DevOps的核心是自动化,自动化的核心是标准化.而DevOps最重要的一环节是持续交付,持续交付中建设的重点是流水线,所以如何打造标准的持续交付流水线则为DevOps建设中最重要的一环,也是评估DevOps能力的一个重要的打分点.本文内容参照<研发运营一体化(DevOps)能力成熟度模型 第3部分:持续交付>,基于jenkins,对持续集成流水线建设的一些关键点进行技术应答,带领大家把方法论落地到具体的技术点上. 文中涉及到的几个名词解释:1,流水线:pipeline,一个应用程序从构建.部

DEVOPS技术实践_12:创建持续集成的管道

持续集成不仅包含了Jenkins或者相关其它的CI工具,也包含了包含代码如何控制,采用的什么分支策略等.不同的组织可能采用不同的类型的策略来完成CI,策略类型和项目的类型的有很大的关系. 一 分支策略 1.1 本实验分支 分支能够有效的对代码较好的管理,也是能够把工作的代码和开发环境的代码隔离的有效方式.主要有三种的分支策略类型– master分支– integration 分支– feature 分支 1.master分支 master分支也叫做生产分支,该分支的代码全部是经过测试OK的代码.

Azure云中Web应用的持续集成实践

由于从事的工作领域关系,目前会或多或少的关注DevOps课题的相关领域,当然目前还在尝试多种适应于持续开发持续集成领域的工具和组合方式,个人粗浅的领会是DevOPS其实既不会只是开发者需要关注的,也是运维人员应该关注的领域,因为未来的IT世界其实是个"相对混合"的空间,发展之快超出想象:在开发测试领域的工具上看,Chef/Puppet/PowerShell DSC,到开源领域广泛应用Salt Stack, Ansible到 Docker生态圈等封装一系列基础架构即代码等概念的涌现,无时

GitHub+Jenkins持续集成简介

DevOps(英文Development(开发)和Operations(技术运营)的组合)是一组过程.方法与系统的统称,用于促进开发(应用程序/软件工程).技术运营和质量保障(QA)部门之间的沟通.协作与整合.它的出现是由于软件行业日益清晰地认识到:为了按时交付软件产品和服务,开发和运营工作必须紧密合作 持续集成概念: 持续集成Continuous Integration 持续交付Continuous Delivery 持续部署Continuous Deployment 1.1 什么是持续集成:

软件开发之持续集成

持续集成流程: Nexus作为开发依赖的仓库: Maven作为依赖的一个获取接口,在其中定义好Nexus地址: Eclipse作为开发的工具,在工程中的Pom文件中定义好依赖项(类似于kafka.zookeeper.hbase等的jar客户端文件,并指明Maven的地址): 开发完成之后将代码提交到Svn,并通过Jenkins构建(java中的war包类),并在开发服务器中进行测试确认无误后告知配置管理员: 配置管理员通过从Svn拉取代码并构建到测试服务器,测试人员对功能模块等进行测试: 测试无