k8s实现灰度发布

  灰度发布在实际生产部署中是经常被使用的方式,常规的方法是手动从前端LB(负载均衡)上将后端服务器摘掉,然后,停服务,最后上传代码,完成软连接更新。在使用CI/CD工具时,这个过程变得自动化了,我们只需要通过Jenkins这个功能强大的开源持续集成和部署工具,就可以联合Gitlab 或 Gogs 来实现自动拉取代码,并根据自己编写的pipeline脚本,实现自动连接到LB上摘掉后端Server,并自动连接到后端Server上,上传代码,并重启服务,最后通过邮件通知管理员整个过程的结果报告。但今天,K8s的更让我们看到了一种更便捷高效的灰度发布的实现方法,下面就来说说:

由于本人能力有限,对k8s的理解尚浅,原理部分在后续研究透彻后,在来详细说明,本编仅供初学者参考

首先需要制作此次实验的基础镜像:
1. Dockerfile的编写:
  mkdir dockerfile && cd dockerfile
  vim Dockerfile    #注意: Dockerfile的文件名首字母要大写
    FROM alpine:latest

    MAINTAINER "ZCF <[email protected]>"

    ENV NGX_DOC_ROOT="/var/lib/nginx/html" HOSTNAME="" IP="" PORT="" INDEX_PAGE=""
    RUN apk --no-cache add nginx && mkdir -p ${NGX_DOC_ROOT}/shop /run/nginx

    COPY chk.html   ${NGX_DOC_ROOT}
    COPY entrypoint.sh /bin

    CMD ["/usr/sbin/nginx","-g","daemon off;"] #定义启动nginx服务为前端启动, -g:是global段,中修改daemon off;
    ENTRYPOINT ["/bin/entrypoint.sh"] #将CMD的命令,作为参数传递给/bin/entrypoint.sh 脚本.

    #准备Dockerfile配套的基础文件:
    1) 启动容器时,执行的脚本文件: entrypoint.sh
      vim entrypoint.sh
        #!/bin/sh

        echo "<h1>WELCOME TO ${HOSTNAME:-www.zcf.com} WEB SITE | `date` | `hostname` | `hostname -i` | -${YOU_INFO:-v1}- | </h1>" > ${NGX_DOC_ROOT}/index.html
        cat > /etc/nginx/conf.d/default.conf <<EOF
        server {
          server_name ${HOSTNAME:-www.zcf.com};
          listen ${IP:-0.0.0.0}:${PORT:-80};
          root ${NGX_DOC_ROOT};
          location / {
            index ${INDEX_PAGE} index.html index.htm;
          }
          location = /404.html {
            internal;
          }
        }
        EOF

        exec "[email protected]"      #它就是来接受CMD传入的参数的.

  2 ) 给entrypoint.sh 添加执行权限
    chown +x entrypoint.sh

  3) 后期做健康检查时,使用的html文件:
    echo OK > chk.html

2. 开始制作docker镜像文件:
  docker build --tag myapp:v1 ./

3. 将制作好的镜像文件,打上标签,并上传到harbor上。
  docker login harbor.zcf.com -u admin -p 123456      #登录harbor
  docker tag myapp:v1 harbor.zcf.com/k8s/myapp:v1      #先打上harbor仓库路径
  docker push harbor.zcf.com/k8s/myapp:v1         #再上传镜像到harbor上。

4. 为了方便延时恢复发布的效果,我们还需要在制作一个镜像
  docker run -d --name ngx1 -e YOU_INFO="DIY-HelloWorld-v2" harbor.zcf.com/k8s/myapp:v1
    #说明: -e 是指定要传递给容器的环境变量, 因为我提前在myapp中启动脚本entrypoint.sh中使用的了YOU_INFO这个环境变量,
    # 因此,这里我可以直接给容器传递这个变量,来实现修改nginx首页的效果.

  docker commit --pause ngx1      #将ngx1暂停,并将当前容器状态,导出为一个新镜像。

  docker kill ngx1 && docker rm -fv ngx1  #制作完镜像,就直接删除测试ngx1容器.

  [email protected]:~# docker images
    REPOSITORY TAG IMAGE ID CREATED SIZE
    <none> <none> 85355d4af36c 6 seconds ago 7.02MB    #这个就上刚制作的新镜像.

  #给刚制作好的镜像打上标签:harbor.zcf.com/k8s/myapp:v2,便于上传到harbor上。
  docker tag 85355d4af36c harbor.zcf.com/k8s/myapp:v2

  #测试运行镜像,若没有问题,就可以上传到本地harbor上了。

  docker run -p 83:80 --rm -d --name ngx1 harbor.zcf.com/k8s/myapp:v2

  [email protected]:~# curl http://192.168.111.80:83/    #测试镜像是否修改了nginx的首页为YOU_INFO的内容.
  <h1>WERCOME TO www.zcf.com WEB SITE | Fri Jul 19 02:31:13 UTC 2019 | ec4f08f831de | 172.17.0.2 | -DIY-HelloWorld-v2- | </h1>

  docker kill ngx1      #删除ngx1容器.

  docker push harbor.zcf.com/k8s/myapp:v2     #最后,上传新镜像到harbor上.

5. 现在已经有了,myapp:v1 和 myapp:v2 那就可以开始K8s的灰度发布测试了。

  #先创建三个pod,一个Client,两个Nginx
  #1. 先创建 Client
    kubectl run client --image=harbor.zcf.com/k8s/alpine:v1 --replicas=1
    #注意: alpine:是一个最小化的Linux系统,很多开源镜像站都可以下载到.
    kubectl get pods -o wide      #查看Pod的创建详情.

  #2. 创建Nginx
  kubectl run nginx --image=harbor.zcf.com/k8s/myapp:v1 --port=80 --replicas=2

  kubectl get deployment -w      #watch着监控k8s帮我们创建2个pod的过程.

  kubectl get pod -o wide

  #3. 登录Client,测试访问Nginx
  [email protected]:/etc/ansible# kubectl get pod
    NAME READY STATUS RESTARTS AGE
    client-f5cdb799f-2wsmr 1/1 Running 2 16h
    nginx-6d6d8b685-7t7xj 1/1 Running 0 99m
    nginx-6d6d8b685-xpx5r 1/1 Running 0 99m

  kubectl exec -it client-f5cdb799f-2wsmr sh
  / # ip addr
  / # for i in `seq 1000`; do wget -O - -q http://nginx/ ; sleep 1; done
  / #    #说明: 若你的kube-dns没有部署成功,这里的nginx可换成Service的IP.
  / #    #   kubectl get svc |grep nginx    #这个就是Nginx的Service的集群IP.

  #4. 以上测试可看到,已经能够实现负载均衡的效果了。
    接着,开始进行灰度发布测试
    #更新myapp的镜像为myapp:v2
    kubectl set image --help
    kubectl set image deployment myapp myapp=harbor.zcf.com/k8s/myapp:v2    #升级myapp的镜像为myapp:v2

  #上面执行命令时,就可以看着,另一个终端中Client的访问变化情况,你可以发现,访问逐渐从 v1 变成 DIY-HelloWorld-v2了。

  #5.测试动态调整nginx Pod的数量
    kubectl scale --replicas=5 deployment nginx    #修改nginx的Pod副本数量为5个.
    kubectl get pods

  #接着在到Client所在的终端上,查看变化,你会发现,主机名和IP部分开始有更多变化了。

  #6. 查看nginx镜像升级状态,是否成功
    kubectl rollout status deployment nginx

  #7. 再查看myapp的镜像是否已经升级为最新的了
    kubectl describe pods nginx-xxx-xx

  #8. 将myapp回滚到之前的版本,即v1版本
    kubectl rollout undo --help
    kubectl rollout undo deployment nginx

6. 测试K8s集群外部访问nginx
  #修改 myapp service的类型,让它能被集群外部的客户端访问.
    kubectl edit svc myapp
      #type: ClusterIP 把它修改为 type:NodePort

  #查看svc的更新信息:
    kubectl get svc #这里就可以看到,myap service的端口将动态增加一个. 如:80:30020/TCP,注意:30020是随机分配的。
             #它的范围是,你在使用kubeasz部署时,设置 NODE_PORT_RANGE="30000-60000"中随机选的.

  #接着就可以在集群外部的客户端去访问myapp了
    http://Master或Node的物理IP:30020/

#好了,以上测试结果,我就不截图了,想看到结果的道友们要多多动手测试,然后多多总结,多多思考,就可以看到,并且明白了。

原文地址:https://www.cnblogs.com/wn1m/p/11287879.html

时间: 2024-10-08 21:15:21

k8s实现灰度发布的相关文章

k8s容器灰度发布最佳实践(基于spinnaker)

k8s中的容器一般是通过deployment管理的,那么一次滚动升级理论上会更新所有pod,这由deployment资源特性保证的,但在实际的工作场景下,需要灰度发布进行服务验证,即只发布部分节点,这似乎与k8s的deployment原理相违背,但是灰度发布的必要性,运维同学都非常清楚,如何解决这一问题? 最佳实践:定义两个不同的deployment,例如:fop-gate和fop-gate-canary,但是管理的pod所使用的镜像.配置文件全部相同,不同的是什么呢?答案是:replicas

K8S基于ingress-nginx实现灰度发布

摘自:https://www.cnblogs.com/xiaoqi/p/ingress-nginx-canary.html 之前介绍过使用ambassador实现灰度发布,今天介绍如何使用ingre-nginx实现. 介绍 Ingress-Nginx 是一个K8S ingress工具,支持配置 Ingress Annotations 来实现不同场景下的灰度发布和测试. Nginx Annotations 支持以下 4 种 Canary 规则: nginx.ingress.kubernetes.i

一文搞懂蓝绿发布、灰度发布和滚动发布

应用程序升级面临最大挑战是新旧业务切换,将软件从测试的最后阶段带到生产环境,同时要保证系统不间断提供服务.长期以来,业务升级渐渐形成了几个发布策略:蓝绿发布.灰度发布和滚动发布,目的是尽可能避免因发布导致的流量丢失或服务不可用问题. 7.1 蓝绿发布 项目逻辑上分为AB组,在项目系统时,首先把A组从负载均衡中摘除,进行新版本的部署.B组仍然继续提供服务.当A组升级完毕,负载均衡重新接入A组,再把B组从负载列表中摘除,进行新版本的部署.A组重新提供服务.最后,B组也升级完成,负载均衡重新接入B组,

一文了解蓝绿发布/灰度发布/滚动发布

应用程序升级面临最大挑战是新旧业务切换,将软件从测试的最后阶段带到生产环境,同时要保证系统不间断提供服务. 长期以来,业务升级渐渐形成了几个发布策略:蓝绿发布.灰度发布和滚动发布,目的是尽可能避免因发布导致的流量丢失或服务不可用问题. 一. 蓝绿发布 项目逻辑上分为AB组,在项目系统时,首先把A组从负载均衡中摘除,进行新版本的部署.B组仍然继续提供服务. 当A组升级完毕,负载均衡重新接入A组,再把B组从负载列表中摘除,进行新版本的部署.A组重新提供服务. 最后,B组也升级完成,负载均衡重新接入B

一文搞懂蓝绿发布、灰度发布和滚动发布(转)

应用程序升级面临最大挑战是新旧业务切换,将软件从测试的最后阶段带到生产环境,同时要保证系统不间断提供服务. 长期以来,业务升级渐渐形成了几个发布策略:蓝绿发布.灰度发布和滚动发布,目的是尽可能避免因发布导致的流量丢失或服务不可用问题. 一. 蓝绿发布 项目逻辑上分为AB组,在项目系统时,首先把A组从负载均衡中摘除,进行新版本的部署.B组仍然继续提供服务. 当A组升级完毕,负载均衡重新接入A组,再把B组从负载列表中摘除,进行新版本的部署.A组重新提供服务. 最后,B组也升级完成,负载均衡重新接入B

基于cookie在nginx实现业务灰度发布

基于cookie在nginx实现业务灰度发布 背景 灰度发布是指在黑与白之间,能够平滑过渡的一种发布方式. 灰度发布可以保证整体系统的稳定, 在初始灰度的时候就可以发现.调整问题,以保证其影响度. 业务存在灰度发布的需求, 可以通过nginx+lua形式实现业务的灰度发布, 目前这一形式已在广平互动广告相关业务已经实现. 流程 用户使用帐号登录后,判断用户帐号是否在灰度发布的名单中,如果再则给用户的cookie中增加灰度发布标识,然后刷新页面. 当用户访问页面时,业务接入层的nginx方向代理会

使用nginx实现的灰度发布思路研究(待实践)

灰度发布也叫 A/B 测试,原理是一套系统在实现了负载均衡,全国节点都部署了系统之后,可以在新功能上线后,让一小部分用户先使用,从中收集使用信息来做对比和发现bug,及时调整,最终分发到全国的节点. 实现灰度发布的几个思路: 1.以nginx为例的分流,IP是最终的关键,从而以IP围绕中心,可以衍生出很多定义,比如用户标识.用户分组.设备ID及分组等,但是最终还是离不开IP去分流. 2.nginx支持模块开发,如果在一套成熟的系统中,可以开发自己的模块,从而脱离IP为分流导向,指定自己的精确分流

Android、iOS、和Web如何做灰度发布?

主要参考了: https://www.zhihu.com/question/21714205 https://www.zhihu.com/question/28296375 一.概述 所谓的灰度发布,在行业内叫做A/B Test,所以可以搜索一些这方面的关键词 下面是某公司的灰度发布流程,仅供参考. 一)经典总结1: 1)web页面灰度.按照ip或者用户id切流啊.具有随机性,可以控制比例    2)服务端灰度.考验主系分能力了,可以做逻辑切换开关,按照义务相关属性逐渐切流    3)app.一

基于Geoip城市的灰度发布

1.安装epel源 wget https://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm rpm -ivh epel-release-6-8.noarch.rpm 2.首先安装 MaxMind 的 GeoIP 库,其官网是: http://www.maxmind.com,MaxMind 提供了免费的 IP 地域数据库(GeoIP.dat),不过这个数据库文件是二进制的 yum install GeoIP G