k8s健康检查(9)

一、默认的健康检查

  强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性。自愈的默认实现方式是自动重启发生故障的容器。除此之外,用户还可以利用 LivenessReadiness 探测机制设置更精细的健康检查,进而实现如下需求:

  (1)零停机部署。

  (2)避免部署无效的镜像。

  (3)更加安全的滚动升级。

  每个容器启动时都会执行一个进程,此进程由 Dockerfile 的 CMD 或 ENTRYPOINT 指定。如果进程退出时返回码非零,则认为容器发生故障,Kubernetes 就会根据 restartPolicy 重启容器。

1、模拟一个容器发生故障的场景,Pod 配置文件如下:

[[email protected] yaml]# cat pod1.yaml
apiVersion: v1
kind: Pod
metadata:
  name: healthcheck
  labels:
    test: healthcheck
spec:
  containers:
    - name: healthcheck
      image: reg.yunwei.com/learn/busybox:latest
      args:
      - /bin/sh
      - -c
      - sleep 10; exit 1
  restartPolicy: OnFailure

  Pod 的 restartPolicy 设置为 OnFailure,默认为 Always。

  sleep 10; exit 1 模拟容器启动 10 秒后发生故障。、

2、执行 kubectl apply 创建 Pod,命名为 healthcheck。

[[email protected] yaml]# kubectl apply -f pod1.yaml
pod/healthcheck created

3、过几分钟查看 Pod 的状态:

[[email protected] yaml]# kubectl get pod -o wide
NAME          READY   STATUS             RESTARTS   AGE    IP              NODE           NOMINATED NODE   READINESS GATES
healthcheck   0/1     CrashLoopBackOff   3          101s   172.20.72.142   192.168.11.5   <none>           <none>

  可看到容器当前已经重启了 3次。

  在上面的例子中,容器进程返回值非零,Kubernetes 则认为容器发生故障,需要重启。但有不少情况是发生了故障,但进程并不会退出。比如访问 Web 服务器时显示 500 内部错误,可能是系统超载,也可能是资源死锁,此时 httpd 进程并没有异常退出,在这种情况下重启容器可能是最直接最有效的解决方案,那我们如何利用 Health Check 机制来处理这类场景呢?

二、Liveness探测

  Liveness 探测让用户可以自定义判断容器是否健康的条件。如果探测失败,Kubernetes 就会重启容器。

1、创建如下 Pod:

[[email protected] yaml]# cat pod2.yaml
apiVersion: v1
kind: Pod
metadata:
  name: liveness
  labels:
    test: liveness
spec:
  containers:
    - name: liveness
      image: reg.yunwei.com/learn/busybox:latest
      args:
      - /bin/sh
      - -c
      - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
      livenessProbe:
        exec:
          command:
          - cat
          - /tmp/healthy
        initialDelaySeconds: 10
        periodSeconds: 5
  restartPolicy: OnFailure

  启动进程首先创建文件 /tmp/healthy,30 秒后删除,在我们的设定中,如果 /tmp/healthy 文件存在,则认为容器处于正常状态,反之则发生故障。

  livenessProbe 部分定义如何执行 Liveness 探测:

  探测的方法是:通过 cat 命令检查 /tmp/healthy 文件是否存在。如果命令执行成功,返回值为零,Kubernetes 则认为本次 Liveness 探测成功;如果命令返回值非零,本次 Liveness 探测失败。

  initialDelaySeconds: 10 指定容器启动 10 之后开始执行 Liveness 探测,我们一般会根据应用启动的准备时间来设置。比如某个应用正常启动要花 30 秒,那么 initialDelaySeconds 的值就应该大于 30。

  periodSeconds: 5 指定每 5 秒执行一次 Liveness 探测。Kubernetes 如果连续执行 3 次 Liveness 探测均失败,则会杀掉并重启容器。

2、下面创建 Pod liveness:

[[email protected] yaml]# kubectl apply -f pod2.yaml
pod/liveness created

  从配置文件可知,最开始的 30 秒,/tmp/healthy 存在,cat 命令返回 0,Liveness 探测成功

3、这段时间 kubectl describe pod liveness 的 Events部分会显示正常的日志。

[[email protected] yaml]# kubectl describe pod liveness
Name:         liveness
Namespace:    default
Node:         192.168.11.5/192.168.11.5
Start Time:   Sat, 26 Oct 2019 10:59:15 +0800
Labels:       test=liveness
Annotations:  kubectl.kubernetes.io/last-applied-configuration:
                {"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"test":"liveness"},"name":"liveness","namespace":"default"},"spec":...
Status:       Running
IP:           172.20.72.141
Containers:
  liveness:
    Container ID:  docker://abcecd2fe5d291ac028d8eebbb59ef37b22a558d451b0c401da44c1bcd7962e0
    Image:         reg.yunwei.com/learn/busybox:latest
    Image ID:      docker-pullable://reg.yunwei.com/learn/[email protected]:dd97a3fe6d721c5cf03abac0f50e2848dc583f7c4e41bf39102ceb42edfd1808
    Port:          <none>
    Host Port:     <none>
    Args:
      /bin/sh
      -c
      touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
    State:          Running
      Started:      Sat, 26 Oct 2019 10:59:17 +0800
    Ready:          True
    Restart Count:  0
    Liveness:       exec [cat /tmp/healthy] delay=10s timeout=1s period=5s #success=1 #failure=3
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  default-token-qvqql:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-qvqql
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     <none>
Events:
  Type    Reason     Age   From                   Message
  ----    ------     ----  ----                   -------
  Normal  Scheduled  18s   default-scheduler      Successfully assigned default/liveness to 192.168.11.5
  Normal  Pulling    17s   kubelet, 192.168.11.5  Pulling image "reg.yunwei.com/learn/busybox:latest"
  Normal  Pulled     16s   kubelet, 192.168.11.5  Successfully pulled image "reg.yunwei.com/learn/busybox:latest"
  Normal  Created    16s   kubelet, 192.168.11.5  Created container liveness
  Normal  Started    16s   kubelet, 192.168.11.5  Started container liveness

4、35秒后再次查看日志

  35 秒之后,日志会显示 /tmp/healthy 已经不存在,Liveness 探测失败。再过几十秒,几次探测都失败后,容器会被重启。

[[email protected] yaml]# kubectl describe pod liveness
Name:         liveness
Namespace:    default
Node:         192.168.11.5/192.168.11.5
Start Time:   Sat, 26 Oct 2019 10:59:15 +0800
Labels:       test=liveness
Annotations:  kubectl.kubernetes.io/last-applied-configuration:
                {"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"test":"liveness"},"name":"liveness","namespace":"default"},"spec":...
Status:       Running
IP:           172.20.72.141
Containers:
  liveness:
    Container ID:  docker://abcecd2fe5d291ac028d8eebbb59ef37b22a558d451b0c401da44c1bcd7962e0
    Image:         reg.yunwei.com/learn/busybox:latest
    Image ID:      docker-pullable://reg.yunwei.com/learn/[email protected]:dd97a3fe6d721c5cf03abac0f50e2848dc583f7c4e41bf39102ceb42edfd1808
    Port:          <none>
    Host Port:     <none>
    Args:
      /bin/sh
      -c
      touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
    State:          Running
      Started:      Sat, 26 Oct 2019 10:59:17 +0800
    Ready:          True
    Restart Count:  0
    Liveness:       exec [cat /tmp/healthy] delay=10s timeout=1s period=5s #success=1 #failure=3
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  default-token-qvqql:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-qvqql
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     <none>
Events:
  Type     Reason     Age                From                   Message
  ----     ------     ----               ----                   -------
  Normal   Scheduled  63s                default-scheduler      Successfully assigned default/liveness to 192.168.11.5
  Normal   Pulling    62s                kubelet, 192.168.11.5  Pulling image "reg.yunwei.com/learn/busybox:latest"
  Normal   Pulled     61s                kubelet, 192.168.11.5  Successfully pulled image "reg.yunwei.com/learn/busybox:latest"
  Normal   Created    61s                kubelet, 192.168.11.5  Created container liveness
  Normal   Started    61s                kubelet, 192.168.11.5  Started container liveness
  Warning  Unhealthy  19s (x3 over 29s)  kubelet, 192.168.11.5  Liveness probe failed: cat: can‘t open ‘/tmp/healthy‘: No such file or directory
  Normal   Killing    19s                kubelet, 192.168.11.5  Container liveness failed liveness probe, will be restarted

5、查看pod

  可以发现容器开始被重启

[[email protected] yaml]# kubectl get pod -o wide
NAME       READY   STATUS    RESTARTS   AGE   IP              NODE           NOMINATED NODE   READINESS GATES
liveness   1/1     Running   1          76s   172.20.72.141   192.168.11.5   <none>           <none>

三、Readiness 探测

  除了 Liveness 探测,Kubernetes Health Check 机制还包括 Readiness 探测。

  用户通过 Liveness 探测可以告诉 Kubernetes 什么时候通过重启容器实现自愈;Readiness 探测则是告诉 Kubernetes 什么时候可以将容器加入到 Service 负载均衡池中,对外提供服务。

1、Readiness 探测的配置语法与 Liveness 探测完全一样

[[email protected] yaml]# cat pod-read.yaml
apiVersion: v1
kind: Pod
metadata:
  name: readiness
  labels:
    test: readiness
spec:
  containers:
    - name: readiness
      image: reg.yunwei.com/learn/busybox:latest
      args:
      - /bin/sh
      - -c
      - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
      readinessProbe:
        exec:
          command:
          - cat
          - /tmp/healthy
        initialDelaySeconds: 10
        periodSeconds: 5
  restartPolicy: OnFailure

  这个配置文件只是将前面例子中的 liveness 替换为了 readiness,我们看看有什么不同的效果。

2、部署

[[email protected] yaml]# kubectl get pod readiness
NAME        READY   STATUS    RESTARTS   AGE
readiness   0/1     Running   0          14s
[[email protected] yaml]# kubectl get pod readiness
NAME        READY   STATUS    RESTARTS   AGE
readiness   1/1     Running   0          26s
[[email protected] yaml]# kubectl get pod readiness
NAME        READY   STATUS    RESTARTS   AGE
readiness   0/1     Running   0          76s

  Pod readiness 的 READY 状态经历了如下变化:

  刚被创建时,READY 状态为不可用。

  15 秒后(initialDelaySeconds + periodSeconds),第一次进行 Readiness 探测并成功返回,设置 READY 为可用。

  30 秒后,/tmp/healthy 被删除,连续 3 次 Readiness 探测均失败后,READY 被设置为不可用。

3、通过 kubectl describe pod readiness 也可以看到 Readiness 探测失败的日志。

[[email protected] yaml]# kubectl describe pod readiness
Name:         readiness
Namespace:    default
Node:         192.168.11.5/192.168.11.5
Start Time:   Sat, 26 Oct 2019 11:10:24 +0800
Labels:       test=readiness
Annotations:  kubectl.kubernetes.io/last-applied-configuration:
                {"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"test":"readiness"},"name":"readiness","namespace":"default"},"spec...
Status:       Running
IP:           172.20.72.143
Containers:
  readiness:
    Container ID:  docker://7fc2db813b612e71a82b27d7a63fe1860982f4c20fbc1e110a92f3118b08fa82
    Image:         reg.yunwei.com/learn/busybox:latest
    Image ID:      docker-pullable://reg.yunwei.com/learn/[email protected]:dd97a3fe6d721c5cf03abac0f50e2848dc583f7c4e41bf39102ceb42edfd1808
    Port:          <none>
    Host Port:     <none>
    Args:
      /bin/sh
      -c
      touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
    State:          Running
      Started:      Sat, 26 Oct 2019 11:10:26 +0800
    Ready:          False
    Restart Count:  0
    Readiness:      exec [cat /tmp/healthy] delay=10s timeout=1s period=5s #success=1 #failure=3
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-qvqql (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             False
  ContainersReady   False
  PodScheduled      True
Volumes:
  default-token-qvqql:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-qvqql
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     <none>
Events:
  Type     Reason     Age                 From                   Message
  ----     ------     ----                ----                   -------
  Normal   Scheduled  2m18s               default-scheduler      Successfully assigned default/readiness to 192.168.11.5
  Normal   Pulling    2m17s               kubelet, 192.168.11.5  Pulling image "reg.yunwei.com/learn/busybox:latest"
  Normal   Pulled     2m16s               kubelet, 192.168.11.5  Successfully pulled image "reg.yunwei.com/learn/busybox:latest"
  Normal   Created    2m16s               kubelet, 192.168.11.5  Created container readiness
  Normal   Started    2m16s               kubelet, 192.168.11.5  Started container readiness
  Warning  Unhealthy  3s (x21 over 103s)  kubelet, 192.168.11.5  Readiness probe failed: cat: can‘t open ‘/tmp/healthy‘: No such file or directory

  下面对 Liveness 探测和 Readiness 探测做个比较:

  Liveness 探测和 Readiness 探测是两种 Health Check 机制,如果不特意配置,Kubernetes 将对两种探测采取相同的默认行为,即通过判断容器启动进程的返回值是否为零来判断探测是否成功。

  两种探测的配置方法完全一样,支持的配置参数也一样。不同之处在于探测失败后的行为:Liveness 探测是重启容器;Readiness 探测则是将容器设置为不可用,不接收 Service 转发的请求。

  Liveness 探测和 Readiness 探测是独立执行的,二者之间没有依赖,所以可以单独使用,也可以同时使用。用 Liveness 探测判断容器是否需要重启以实现自愈;用 Readiness 探测判断容器是否已经准备好对外提供服务。

四、健康检测在scale up中的应用

  对于多副本应用,当执行 Scale Up 操作时,新副本会作为 backend 被添加到 Service 的负载均衡中,与已有副本一起处理客户的请求。考虑到应用启动通常都需要一个准备阶段,比如加载缓存数据,连接数据库等,从容器启动到真正能够提供服务是需要一段时间的。我们可以通过 Readiness 探测判断容器是否就绪,避免将请求发送到还没有 ready 的 backend。

1、下面是示例应用的配置文件。

[[email protected] yaml]# cat healthy.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: web
        run: web
    spec:
      containers:
      - name: web
        image: reg.yunwei.com/learn/httpd:latest
        ports:
        - containerPort: 80
        readinessProbe:
          httpGet:
            scheme: HTTP
            path: /healthy
            port: 8080
          initialDelaySeconds: 10
          periodSeconds: 5

---
apiVersion: v1
kind: Service
metadata:
  name: web-svc
spec:
  ports:
    - port: 8080
      targetPort: 80
      protocol: TCP
  selector:
    run: web

  重点关注 readinessProbe 部分。这里我们使用了不同于 exec 的另一种探测方法 -- httpGet。Kubernetes 对于该方法探测成功的判断条件是 http 请求的返回代码在 200-400 之间。

  schema 指定协议,支持 HTTP(默认值)和 HTTPS。

  path 指定访问路径。

  port 指定端口。

上面配置的作用是:

  容器启动 10 秒之后开始探测。

  如果 http://[container_ip]:8080/healthy 返回代码不是 200-400,表示容器没有就绪,不接收 Service web-svc 的请求。

  每隔 5 秒再探测一次。

  直到返回代码为 200-400,表明容器已经就绪,然后将其加入到 web-svc 的负载均衡中,开始处理客户请求。

  探测会继续以 5 秒的间隔执行,如果连续发生 3 次失败,容器又会从负载均衡中移除,直到下次探测成功重新加入。

五、健康检测在滚动更新中的应用

  现有一个正常运行的多副本应用,接下来对应用进行更新(比如使用更高版本的 image),Kubernetes 会启动新副本,然后发生了如下事件:

  正常情况下新副本需要 10 秒钟完成准备工作,在此之前无法响应业务请求。

  但由于人为配置错误,副本始终无法完成准备工作(比如无法连接后端数据库)。

  思考一个问题:如果没有配置 Health Check,会出现怎样的情况?

  因为新副本本身没有异常退出,默认的 Health Check 机制会认为容器已经就绪,进而会逐步用新副本替换现有副本,其结果就是:当所有旧副本都被替换后,整个应用将无法处理请求,无法对外提供服务。如果这是发生在重要的生产系统上,后果会非常严重。

  如果正确配置了 Health Check,新副本只有通过了 Readiness 探测,才会被添加到 Service;如果没有通过探测,现有副本不会被全部替换,业务仍然正常进行。

1、用如下配置文件 app.v1.yml 模拟一个 10 副本的应用:

[[email protected] yaml]# cat app.v1.yml
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: app
spec:
  replicas: 10
  template:
    metadata:
      labels:
        name: app
        run: app
    spec:
      containers:
      - name: app
        image: reg.yunwei.com/learn/busybox:latest
        args:
        - /bin/sh
        - -c
        - sleep 10; touch /tmp/healthy; sleep 30000
        readinessProbe:
          exec:
            command:
            - cat
            - /tmp/healthy
          initialDelaySeconds: 10
          periodSeconds: 5

  10秒后副本能够通过readiness探测

2、执行部署操作

[[email protected] yaml]# kubectl apply -f app.v1.yml
deployment.apps/app created
[[email protected] yaml]# kubectl get deployment app
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
app    10/10   10           10          39s
[[email protected] yaml]# kubectl get po -o wide
NAME                   READY   STATUS    RESTARTS   AGE   IP              NODE           NOMINATED NODE   READINESS GATES
app-577d86d68d-2qb4c   1/1     Running   0          50s   172.20.72.147   192.168.11.5   <none>           <none>
app-577d86d68d-45fc2   1/1     Running   0          50s   172.20.72.149   192.168.11.5   <none>           <none>
app-577d86d68d-4mbdj   1/1     Running   0          50s   172.20.33.114   192.168.11.6   <none>           <none>
app-577d86d68d-8hvjx   1/1     Running   0          50s   172.20.33.111   192.168.11.6   <none>           <none>
app-577d86d68d-gnwkn   1/1     Running   0          50s   172.20.72.146   192.168.11.5   <none>           <none>
app-577d86d68d-gv64q   1/1     Running   0          50s   172.20.33.113   192.168.11.6   <none>           <none>
app-577d86d68d-mgvv9   1/1     Running   0          50s   172.20.72.145   192.168.11.5   <none>           <none>
app-577d86d68d-mlq22   1/1     Running   0          50s   172.20.33.115   192.168.11.6   <none>           <none>
app-577d86d68d-n9cxh   1/1     Running   0          50s   172.20.33.112   192.168.11.6   <none>           <none>
app-577d86d68d-qjj92   1/1     Running   0          50s   172.20.72.148   192.168.11.5   <none>           <none>

3、接下来滚动更新应用,配置文件 app.v2.yml 如下:

[[email protected] yaml]# cat app.v2.yml
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: app
spec:
  replicas: 10
  template:
    metadata:
      labels:
        name: app
        run: app
    spec:
      containers:
      - name: app
        image: reg.yunwei.com/learn/busybox:latest
        args:
        - /bin/sh
        - -c
        - sleep 30000
        readinessProbe:
          exec:
            command:
            - cat
            - /tmp/healthy
          initialDelaySeconds: 10
          periodSeconds: 5

  很显然,由于新副本中不存在 /tmp/healthy,是无法通过 Readiness 探测的。

4、查看探测结果

[[email protected] yaml]# kubectl apply -f app.v2.yml --record
deployment.apps/app configured
[[email protected] yaml]# kubectl get deployment app
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
app    8/10    5            8           3m57s
[[email protected] yaml]# kubectl get deployment app
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
app    8/10    5            8           4m25s
[[email protected] yaml]# kubectl get po -o wide
NAME                   READY   STATUS    RESTARTS   AGE     IP              NODE           NOMINATED NODE   READINESS GATES
app-577d86d68d-2qb4c   1/1     Running   0          4m31s   172.20.72.147   192.168.11.5   <none>           <none>
app-577d86d68d-4mbdj   1/1     Running   0          4m31s   172.20.33.114   192.168.11.6   <none>           <none>
app-577d86d68d-8hvjx   1/1     Running   0          4m31s   172.20.33.111   192.168.11.6   <none>           <none>
app-577d86d68d-gnwkn   1/1     Running   0          4m31s   172.20.72.146   192.168.11.5   <none>           <none>
app-577d86d68d-gv64q   1/1     Running   0          4m31s   172.20.33.113   192.168.11.6   <none>           <none>
app-577d86d68d-mgvv9   1/1     Running   0          4m31s   172.20.72.145   192.168.11.5   <none>           <none>
app-577d86d68d-n9cxh   1/1     Running   0          4m31s   172.20.33.112   192.168.11.6   <none>           <none>
app-577d86d68d-qjj92   1/1     Running   0          4m31s   172.20.72.148   192.168.11.5   <none>           <none>
app-58ccc746ff-44kz6   0/1     Running   0          45s     172.20.33.116   192.168.11.6   <none>           <none>
app-58ccc746ff-4ndkq   0/1     Running   0          45s     172.20.72.151   192.168.11.5   <none>           <none>
app-58ccc746ff-5jfvr   0/1     Running   0          46s     172.20.72.150   192.168.11.5   <none>           <none>
app-58ccc746ff-qz7pn   0/1     Running   0          46s     172.20.33.117   192.168.11.6   <none>           <none>
app-58ccc746ff-z4h94   0/1     Running   0          46s     172.20.72.152   192.168.11.5   <none>           <none>
[[email protected] yaml]# 

  先关注 kubectl get pod 输出:

  从 Pod 的 AGE 栏可判断,最后 5 个 Pod 是新副本,目前处于 NOT READY 状态。

旧副本从最初 10 个减少到 8 个。

  再来看 kubectl get deployment app 的输出:

  DESIRED 10 表示期望的状态是 10 个 READY 的副本。

  CURRENT 13 表示当前副本的总数:即 8 个旧副本 + 5 个新副本。

  UP-TO-DATE 5 表示当前已经完成更新的副本数:即 5 个新副本。

  AVAILABLE 8 表示当前处于 READY 状态的副本数:即 8个旧副本。

  在我们的设定中,新副本始终都无法通过 Readiness 探测,所以这个状态会一直保持下去。

  上面我们模拟了一个滚动更新失败的场景。不过幸运的是:Health Check 帮我们屏蔽了有缺陷的副本,同时保留了大部分旧副本,业务没有因更新失败受到影响。

  接下来我们要回答:为什么新创建的副本数是 5 个,同时只销毁了 2 个旧副本?

  原因是:滚动更新通过参数 maxSurge 和 maxUnavailable 来控制副本替换的数量。

maxSurge

  此参数控制滚动更新过程中副本总数的超过 DESIRED 的上限。maxSurge 可以是具体的整数(比如 3),也可以是百分百,向上取整。maxSurge 默认值为 25%。

  在上面的例子中,DESIRED 为 10,那么副本总数的最大值为:

  roundUp(10 + 10 * 25%) = 13

  所以我们看到 CURRENT 就是 13。

maxUnavailable

  此参数控制滚动更新过程中,不可用的副本相占 DESIRED 的最大比例。 maxUnavailable 可以是具体的整数(比如 3),也可以是百分百,向下取整。maxUnavailable 默认值为 25%。

  在上面的例子中,DESIRED 为 10,那么可用的副本数至少要为:

  10 - roundDown(10 * 25%) = 8

  所以我们看到 AVAILABLE 就是 8。

  maxSurge 值越大,初始创建的新副本数量就越多;maxUnavailable 值越大,初始销毁的旧副本数量就越多。

  理想情况下,我们这个案例滚动更新的过程应该是这样的:

  首先创建 3 个新副本使副本总数达到 13 个。

  然后销毁 2 个旧副本使可用的副本数降到 8 个。

  当这 2 个旧副本成功销毁后,可再创建 2 个新副本,使副本总数保持为 13 个。

  当新副本通过 Readiness 探测后,会使可用副本数增加,超过 8。

  进而可以继续销毁更多的旧副本,使可用副本数回到 8。

  旧副本的销毁使副本总数低于 13,这样就允许创建更多的新副本。

  这个过程会持续进行,最终所有的旧副本都会被新副本替换,滚动更新完成。

六、更新失败回退

[[email protected] yaml]# kubectl rollout history deployment app
deployment.extensions/app
REVISION  CHANGE-CAUSE
1         <none>
2         kubectl apply --filename=app.v2.yml --record=true
[[email protected] yaml]# kubectl get deployment app
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
app    8/10    5            8           7m50s
[[email protected] yaml]# kubectl rollout undo deployment app --to-revision=1
deployment.extensions/app rolled back
[[email protected] yaml]# kubectl get deployment app
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
app    10/10   10           10          8m53s

  如果要定制 maxSurge 和 maxUnavailable,可以如下配置:

[[email protected] yaml]# cat app.v2.yml
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: app
spec:
  strategy:
    rollingUpdate:
      maxSurge: 35%
      maxUnavailable: 35%
  replicas: 10
  template:
    metadata:
      labels:
        name: app
        run: app
    spec:
      containers:
      - name: app
        image: reg.yunwei.com/learn/busybox:latest
        args:
        - /bin/sh
        - -c
        - sleep 30000
        readinessProbe:
          exec:
            command:
            - cat
            - /tmp/healthy
          initialDelaySeconds: 10
          periodSeconds: 5

原文地址:https://www.cnblogs.com/renyz/p/11742455.html

时间: 2024-08-30 06:53:41

k8s健康检查(9)的相关文章

k8s 健康检查

livenessProbe: exec: command: - /bin/sh - '-c' - /opt/app-root/src/check_conf.sh failureThreshold: 3            #探测失败阈值 initialDelaySeconds: 10    #容器起来多久才开始探测 periodSeconds: 10           #告诉kubelet每10秒探测一次 successThreshold: 1       #探测失败后成功1次就认为是成功的

.net core i上 K8S(四).netcore程序的pod管理,重启策略与健康检查

上一章我们已经通过yaml文件将.netcore程序跑起来了,但还有一下细节问题可以分享给大家. 1.pod管理 1.1创建pod kubectl create -f netcore-pod.yaml 我们创建一个netcore-pod.yaml文件,内容如下: apiVersion: v1 kind: Pod #指明类型 metadata: name: netcore-pod labels: app: netcorepod spec: containers: - name: netcorepo

idou老师教你学Istio 14:如何用K8S对Istio Service进行流量健康检查

Istio利用k8s的探针对service进行流量健康检查,有两种探针可供选择,分别是liveness和readiness: liveness探针用来侦测什么时候需要重启容器.比如说当liveness探针捕获到程序运行时出现的一个死锁,这种情况下重启容器可以让程序更容易可用. readiness探针用来使容器准备好接收流量.当所有容器都ready时被视为pod此时ready.比如说用这种信号来控制一个后端服务,当pod没有到ready状态时,服务会从负载均衡被移除. 使用场景: liveness

k8s探测机制之pod健康检查

一:需求来源: 首先来看一下,整个需求的来源:当把应用迁移到 Kubernetes 之后,要如何去保障应用的健康与稳定呢?其实很简单,可以从两个方面来进行增强: 1,首先是提高应用的可观测性:2,第二是提高应用的可恢复能力. 从可观测性上来讲,可以在三个方面来去做增强: 1,首先是应用的健康状态上面,可以实时地进行观测:2,第二个是可以获取应用的资源使用情况:3,第三个是可以拿到应用的实时日志,进行问题的诊断与分析. 当出现了问题之后,首先要做的事情是要降低影响的范围,进行问题的调试与诊断.最后

k8s的Health Check(健康检查)

强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性.自愈的默认实现方式是自动重启发生故障的容器.除此之外,用户还可以利用 Liveness 和 Readiness 探测机制设置更精细的健康检查,进而实现如下需求: 零停机部署. 避免部署无效的镜像. 更加安全的滚动升级. 下面通过实践学习 Kubernetes 的 Health Check 功能. 1.默认的健康检查 我们首先学习 Kubernetes 默认的健康检查机制: 每个容器启动时都会执行一个进程,此进程由 Docke

k8s之健康检查(Health Check)

强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性.自愈的默认实现方式是自动重启发生故障的容器.除此之外,用户还可以利用 Liveness 和 Readiness 探测机制设置更精细的健康检查,进而实现如下需求: 零停机部署. 避免部署无效的镜像. 更加安全的滚动升级. 下面通过实践学习 Kubernetes 的 Health Check 功能. 默认的健康检查 首先学习 Kubernetes 默认的健康检查机制: 每个容器启动时都会执行一个进程,此进程由 Dockerfil

pod健康检查详解(liveness,readiness,滚动更新)

环境介绍 主机 IP地址 服务 master 192.168.1.21 k8s+httpd+nginx node01 192.168.1.22 k8s node02 192.168.1.23 k8s 基于[ https://blog.51cto.com/14320361/2464655]() 的实验继续进行 一.Pod的liveness和readiness探针 Kubelet使用liveness probe(存活探针)来确定何时重启容器.例如,当应用程序处于运行状态但无法做进一步操作,liven

springCloud(6):Eureka的自我保护模式、多网卡下的IP选择、Eureka的健康检查

一.Eureka的自我保护模式 进入自我保护模式最直观的体现就是Eureka Server首页的警告,如下图: 默认情况下,如果Eureka Server在一定时间内没有接收到某个微服务实例的心跳,Eureka Server将会注销该实例(默认90秒).但是当网络分区故障发生时,微服务与Eureka Server之间无法正常通信,这就可能变得非常危险了----因为微服务本身是健康的,此时本不应该注销这个微服务. Eureka Server通过"自我保护模式"来解决这个问题----当Eu

9-lvs-lvs集群-及keepalived健康检查

注意: 配置前需要将上一篇的配置都清除掉 ifconfig eth1:1 down service ipvsadm restart nginx作为请求分发服务器时, 有健康检查机制, 挂了的服务器不会在分发请求 但lvs没有, 需要keepalived进行健康检查, 否则仍然将请求分发过去, 造成无法访问 安装keepalived高可用的lvs集群 1, 安装 ipvsadm 上篇讲过, 不说, 安装好就可以, 不需要配置 2, 安装keepalived 上上篇讲过,,, yum 安装 3, 配