阿里云 自建k8s 验证可用性;

一.概述:

针对阿里云平台是否满足k8s 运行环境可用性,进行kubernetes 各个组件以及相关的功能验证,采用传统ECS虚拟机,和k8s 环境对比进行验证;

测试时间:  2018年4月28日16时-----2018年5月4日12时;

主要验证功能点如下:

(1).系统平均负载值（cpu,load)

(2).网络(联通性,延迟性);

(3).磁盘使用情况（IO数）

(4).程序稳定性(持续一周压力测试,程序运行是否稳定运行);指标:access_logs,request.time,

二，可用性验证实施;

·       1.验证k8s基础环境信息;


        环境类型   
      CPU    
          内存            
            磁盘               
验证程序软件版本
             内核版本        
系统版本   

传统ECS虚拟机
2核心
8GB
高效云盘(100G)
Tomcat/8.5.15
3.10.0-693.5.2.el7.x86_64
CentOS  7.2.151

kubernetes 工作节点
2核心
8GB
高效云盘(100G)
Tomcat/8.5.15
3.10.0-693.5.2.el7.x86_64
Kubernetes   v1.5.2

·       2..传统ECS虚拟机和k8s宿主机平均负载值（cpu使用情况）；

(1).指标统计表;


              cpu相关指标       
              user  用户态     
            system  系统     
         softirq  (软件中断)    
      nice   进程优先级         

ECS 宿主机
max(68%),min(48%),avg(63%)
max(1%),min(0%),avg(0%)
max(0%),min(0%),avg(0%)
max(0%),min(0%),avg(0%)

k8s工作节点宿主机
max(68%),min(51%),avg(62%)
max(1%),min(1%),avg(1%)
max(1%),min(0%),avg(0%)
max(1%),min(0%),avg(0%)

(2).CPU监控对比;

  • 4.网络(联通性,延迟性); （2018年4月28日16时-----2018年5月4日12时）
  • (1). ping方法      测试统计表;

                       网络类型                    
         测试IP地址      
 是否联通  
          延时时间（ms）毫秒               
         备注         

ECS 内部网络(华北2)-01
172.17.10.100
是
max(0.52ms),avg(0.17ms),min(0.14ms)
相对稳定,浮动较小

ECS 内部网络(华北2)-02
172.17.10.150
是
max(0.520ms),avg(0.144ms),min(0.174ms)
相对稳定,浮动较小

Flannel 网关(路由网关01）
172.29.32.1
是
max(0.168ms),avg(0.118ms),min(0.110ms)
相对稳定,浮动较小

Flannel 网关(路由网关02）
172.29.75.1
是
max(4ms),avg(1ms),min(0ms)
网络抖动频繁

k8s内部Flannel(pod使用01)
172.29.32.2
是
max(2.21ms),avg(0.81ms),min(0.16ms)
网络抖动频繁

k8s内部Flannel(pod使用-02)
172.29.32.3
是
max(2.54ms),avg(1.08ms),min(0.19ms)
网络抖动频繁

k8s内部Flannel(pod使用-03)
172.29.75.3
是
max(2.38ms),avg(0.84ms),min(0.16ms)
网络抖动频繁

(2).监控指标图;

  • (3). qperf 方法 测试统计表;   单位换算:s（秒）、ms（毫秒）、μs（微秒）、ns（纳秒），1s=1000ms，1 ms=1000μs，1μs=1000ns

ECS内部网络(华北2)-01 
测试IP地址
是否能建立TCP通信

 
延迟时间（ms）毫秒


 备注  

ECS 内部网络(华北2)-01
172.17.10.100
是
0.0403

k8s内部Flannel(pod使用)
172.29.75.3
是
0.0455
  • .1.操作说明:

qperf  TCP带宽测试：(tcp_bw TCP带宽测试) , 网络延时测试：( tcp_lat 网络延时测试)

  • 2.指定测试时间;(1分钟稳定性测试)

(1).1分钟负载的长时间稳定性测试;

·       3.循环loop遍历测试;

网卡性能摸底测试的时候，很多时候需要得到网卡的带宽和延时性能曲线,perf提供的循环loop测试;

循环多次测试，每次改变消息大小，例如从1K增加到32K，每次大小翻倍直到32K。


ECS 虚拟机循环

qperf -oo msg_size:1:32K:*2  172.17.10.23 tcp_bw   tcp_lat

tcp_bw:

bw  =  2.94 MB/sec

tcp_bw:

bw  =  5.85 MB/sec

tcp_bw:

bw  =  11.4 MB/sec

tcp_bw:

bw  =  22.4 MB/sec

tcp_bw:

bw  =  42.9 MB/sec

tcp_bw:

bw  =  86.7 MB/sec

tcp_bw:

bw  =  149 MB/sec

tcp_bw:

bw  =  170 MB/sec

tcp_bw:

bw  =  121 MB/sec

tcp_bw:

bw  =  125 MB/sec

tcp_bw:

bw  =  134 MB/sec

tcp_bw:

bw  =  122 MB/sec

tcp_bw:

bw  =  131 MB/sec

tcp_bw:

bw  =  126 MB/sec

tcp_bw:

bw  =  127 MB/sec

tcp_bw:

bw  =  132 MB/sec

tcp_lat:

latency  =  39.8 us

tcp_lat:

latency  =  39.5 us

tcp_lat:

latency  =  38.3 us

tcp_lat:

latency  =  39.4 us

tcp_lat:

latency  =  39.1 us

tcp_lat:

latency  =  39.4 us

tcp_lat:

latency  =  39.4 us

tcp_lat:

latency  =  40.2 us

tcp_lat:

latency  =  40.9 us

tcp_lat:

latency  =  41.2 us

tcp_lat:

latency  =  41.7 us

tcp_lat:

latency  =  44.9 us

tcp_lat:

latency  =  46.5 us

tcp_lat:

latency  =  55.5 us

tcp_lat:

latency  =  64 us

tcp_lat:

latency  =  90.7 us
k8s   内部pod  循环测试

qperf -oo msg_size:1:32K:*2  172.29.75.3 tcp_bw tcp_lat

tcp_bw:

bw  =  2.94 MB/sec

tcp_bw:

bw  =  5.77 MB/sec

tcp_bw:

bw  =  11.2 MB/sec

tcp_bw:

bw  =  22 MB/sec

tcp_bw:

bw  =  42.7 MB/sec

tcp_bw:

bw  =  82 MB/sec

tcp_bw:

bw  =  142 MB/sec

tcp_bw:

bw  =  160 MB/sec

tcp_bw:

bw  =  119 MB/sec

tcp_bw:

bw  =  127 MB/sec

tcp_bw:

bw  =  127 MB/sec

tcp_bw:

bw  =  122 MB/sec

tcp_bw:

bw  =  123 MB/sec

tcp_bw:

bw  =  127 MB/sec

tcp_bw:

bw  =  121 MB/sec

tcp_bw:

bw  =  124 MB/sec

tcp_lat:

latency  =  45.2 us

tcp_lat:

latency  =  45.3 us

tcp_lat:

latency  =  45.8 us

tcp_lat:

latency  =  45 us

tcp_lat:

latency  =  46 us

tcp_lat:

latency  =  47.4 us

tcp_lat:

latency  =  44.6 us

tcp_lat:

latency  =  45.1 us

tcp_lat:

latency  =  44.7 us

tcp_lat:

latency  =  45 us

tcp_lat:

latency  =  47.1 us

tcp_lat:

latency  =  50 us

tcp_lat:

latency  =  55 us

tcp_lat:

latency  =  65.4 us

tcp_lat:

latency  =  88.2 us

tcp_lat:

latency  =  124 us

ECS内部网络(华北2)-01 
测试IP地址
 

是否能建立TCP通信

 
延迟时间（us）


ECS 内部网络(华北2)-01
172.17.10.23
是
约 33.3 微秒延迟率

k8s内部Flannel(pod使用)
172.29.75.3
是

·       5.ECS 宿主机磁盘使用情况（IOPS）

(1).传统ECS虚拟机IOPS指标;


名称
设备名称
requests  (write)
bytes(write)
time    (write)
备注

ECS 宿主机

k8s工作节点宿主机
dev/vda
max(2.38iops),avg(1.89%)
max(25.54kib),avg(16.76kib)
max(20ms)avg(8ms)
正常

dev/vdb
max(8iops),avg(7iops)
max(25.86kib),avg(22.18kib)
max(6ms),avg(5ms)

dev/vda
max(2.89iops),avg(2.44iops)
max(27.3kib),avg(22.0kib)
max(22ms),avg(8ms)
正常

dev/vdb
max(8iops),avg(7iops)
max(22kib),avg(19kib)
max(3.27ms),avg(2.09ms)

(2).ECS宿主机监控图;

（1.ECS宿主机IOPS监控）

(2.k8s 主机IOPS监控图)

7.程序稳定性测试;
（1）.ECS宿主机请求时长统计;

三.验证相关结论;

(1).自2018年4月28日16时止2018年5月4日12时,针对阿里云ECS主机 和 ECS 主机部署 k8s 集群环境进行相同配置和程序进行可用性验证最终结论如下：

使用qperf  TCP带宽测试：(tcp_bw TCP带宽测试)

[[email protected] ~]# qperf 172.17.10.23 tcp_lat
tcp_lat:
    latency  =  40.7 us
[[email protected] ~]# qperf 172.29.75.3 tcp_lat
tcp_lat:
172.29.75.3: failed to connect
[[email protected] ~]# qperf 172.29.75.3 tcp_lat
tcp_lat:
    latency  =  45.7 us

原文地址：http://blog.51cto.com/breaklinux/2142533

时间： 2024-11-05 18:36:08

阿里云 自建k8s 验证可用性;的相关文章

阿里云手动搭建k8s搭建中遇到的问题解决（持续更新）

ETCD搭建 systemd启动etcd服务的时候出现错误:Failed at step CHDIR spawning /usr/bin/etcd: No such file or directory 解决办法:etcd.service服务配置文件中设置的工作目录WorkingDirectory=/var/lib/etcd/必须存在,否则会报以上错误 systemd启动etcd服务的时候出现错误:cannot assign requested address 解决办法:绑定阿里云的私网IP 原文

记录一次在阿里云ECS服务器部署验证RocketMQ的经历

==背景== 购买了3台阿里云ECS服务器,上面部署了RocketMQ,用来作为业务后台与平台之间的数据通讯中间件. 部署倒是异常顺利,不过在本地写程序,测试生产和消费数据的时候,出现了一些问题. 耗费了将近1天的时间,终于解决了,记录一下本次排查的经历. ==环境== Linux:CentOS8(阿里云ECS服务器) RocketMQ:4.6.1 ==集群== 节点数:3个 节点1:broker-a(master) 节点2:broker-a(slave),broker-b(master) 节点

阿里云自营 建站买一年送一年

很多个人或者企业都想拥有自己的网站,或者微信小程序.微平台,APP,但又困于互联网各种各样的服务商,有些确实能帮助我们达到目的,但有些套路太深,很难做出决断.有些时候我们不必纠结,选择大服务商,大品牌就可.阿里系作为国内互联网的领军企业之一,品牌价值带给我们的是安全.可信赖.正如马云自己所说的"不差钱,只想给大众带来更优质的服务",虽然这话听起来有些蹩脚,但是只要把服务做好,什么都会自然而然的来.建站阿里能提供的服务包括:建站顾问一对一服务,保障网站完美上线 .资深设计师量身设计 .页

K8s应用案例介绍——阿里云

原文链家:为什么 K8s 在阿里能成功?| 问底中国 IT 技术演进 着重描述了阿里巴巴基于 K8s 的云原生改造实践过程的三大能力升级,在对应能力升级过程中沉淀的技术解决方案,以及通过这些能力升级所取得的业务价值. 云原生技术也从原来的应用容器化发展出包括容器.Service Mesh.微服务.不可变基础设施.Serverless.FaaS 等众多技术方向,CFCF 旗下也囊括了越来多的开源项目. Kubernetes旨在帮助企业解决大规模 IT 基础设施的应用容器编排难题.Kubernete

解决阿里云盾控制台wordpress IP验证不当漏洞

阿里云盾控制台漏洞提示wordpress IP验证不当漏洞wordpress /wp-includes/http.php文件中的wp_http_validate_url函数对输入IP验证不当,导致黑客可构造类似于012.10.10.10这样的畸形IP绕过验证,进行SSRF. 关于wordpress IP验证不当漏洞的解决办法,首先我们需要把wordpress升级到最新版本.然后做以下的修复操作即可. 1.打开/wp-includes/http.php文件,在532行左右找到 if ( isset

阿里云服务器 ECS Ubuntu系统安装配置

1. 登陆服务器 系统开通成功后手机会收到阿里云发来的短信,包含公网IP及root登录密码. WEB管理后台方式 可通过阿里云管理后台选择“连接管理终端…”进行登录 提示输入VNC密码 登录成功后显示shell界面,这时需要输入root账号及其密码登录到系统 这时候就可以进行系统操作了 但是这种方式操作比较不方便,建议使用ssh进行管理操作,阿里云系统已经自带了ssh服务,我们用ssh client连接进来即可. SSH方式远程管理 windows用户可以安装putty,通过putty进行SSH

爬虫实战篇---使用Scrapy框架进行模拟登录(包括借助阿里云服务自动识别验证码)

(1).前言 原理分析:我们编写代码模拟向网站发出登录请求,也就是提交包含登录信息的表单(用户名.密码等). 实现方式:当我们想在请求数据时发送post请求,这时候需要借助Request的子类FormRequest来实现,如果想进一步在爬虫一开始时就发送post请求,那么我们需要重写start_request()方法,舍弃原先的start_url()(采用get请求) (2).模拟登录人人网(例子1) 1.创建项目 scrapy startproject renren---cd renren--

还未解析上线就先收到阿里云的修复漏洞通知

wordpress IP验证不当漏洞与wordpress后台插件更新模块任意目录遍历导致DOS漏洞 漏洞: 漏洞一:wordpress IP验证不当漏洞 1.1 描述:wordpress /wp-includes/http.php文件中的wp_http_validate_url函数对输入IP验证不当,导致黑客可构造类似于012.10.10.10这样的畸形IP绕过验证,进行SSRF 1.2 修复 1.2.1 找到/wp-includes/http.php这个文件,大概在文件465行,修改文件前记得

阿里云服务器 ECS Ubuntu系统下PHP,MYSQL,APACHE2的安装配置

1.系统更新,必须更新,否则有些软件会找不到. apt-get update apt-get upgrade 2.安装mysql sudo apt-get install mysql-server 3.安装Apache sudo apt-get install apache2 浏览器里键入 http://阿里云服务器公网IP 验证 4.安装PHP 5 环境 sudo apt-get install libapache2-mod-php5 sudo a2enmod php5 5.重启APACHE2