前言
本次评测选取了8家云服务提供商,包括阿里云,青云,天翼云,Ucloud,联通沃云,华为云,移动云,aws。旨在对云服务提供商提供的计算、网络、存储的相关指标进行量化评比,在尽量保证测试环境相同的情况下,提供客观公正的测试数据,从技术层面评估各云产品性能。
测评手段
本次评测使用提供客观公正的测试数据,从技术层面评估各云产品性能,用24h连续测试的数据进行对比。选择开源的工具进行对比测试,数据和测试方法更加的客观公正公开,也为用户自己去测试云产品的性能时提供参考。
测评时间
2017.4.19-2017.5.5
云服务提供商配置
备注:
1.因aws-china只针对企业用户开放使用,个人无法购买其产品,所以选择了aws-global东京节点来进行部分指标的测试。
2.操作系统、资源区域等个别云服务提供商无法提供相同的条件,只能选择最相似的测试条件。
Part1.云主机计算性能
1.1 综合性能
字符串处理、浮点运算效率和速度、文件数据传输、管道吞吐、系统调用等多个维度的处理能力的综合
移动云的云主机综合性能得分都是最高的。天翼云在综合性能得分排在最低的位置。其他云的云主机的综合性能得分比较接近,也都比较不错。稳定性方面从24小时的走势来看,基本都比较稳定,没有大幅的波动。
1.2 CPU延时
特定时间内,虚拟 CPU 在排队等候物理 CPU 进行处理的时间,衡量cpu超分超卖的情况
相比较,aws和华为云的cpu延迟比较高,而青云和阿里云的cpu延迟比较低。
1.3 内存性能
用户空间程序内存数据拷贝操作的速度
联通沃云的内存带宽最高,aws、移动云、阿里云的内存带宽也都比较高,华为、青云、ucloud次之,天翼云最低。稳定性方面,24小时内华为云的内存带宽波动比较大,移动云的也有两个时间点下降明显,其他云相对都比较稳定。
1.4 数据库业务性能测试
云主机中跑数据库业务的性能,Tpmc值指单位时间内处理订单的个数
联通沃云和aws的云主机上部署数据库的性能最好,阿里云、青云次之,移动云和天翼云tpmc表现也还不错,ucloud和华为云在数据库性能方面与其他公有云方面表现较差。稳定性方面,24小时内除了aws在12点有所下降,其他都相对很稳定。
Part2.网络性能
2.1 网络延迟
阿里云、华为云、Ucloud、青云几乎没有网络延迟,网络非常流畅。
天翼云、联通沃云、移动云网络延迟程度良好,没有明显的延迟情况,基本不影响用户体验感受。
2.2 外网带宽测试
天翼云订购了5M带宽,实际却达到了20M左右的带宽,应该是限速方面存在bug。
除去异常的天翼云外,华为云带宽较高,阿里云稍高于5M,其他联通沃云、Ucloud、移动云、青云相差不大。总体来说,大家基本都能达到订购的5M带宽,表现合格。
同样的测试工具、测试方法,天翼云没有采集到相关数据。
测试时,华为云发送的udp包乱序严重,除此之外,其他公有云厂商都表现合格。
3.3 UDP抖动时间
联通沃云、阿里云和华为云的抖动时间非常小,udp包在链路上传输时间相当一致,网络非常稳定。Ucloud、移动云和青云的udp抖动时间较大,网络稳定情况相对稍差。青云的抖动时间在24小时内波动也相对较大。
Part3 应用用户体验
3.1 连接时间
连接时间是浏览器与云主机中部署的web服务器建立TCP/IP连接所消耗的时间
各个云的连接时间,总体来说都在100ms以内,而且都比较平稳,无较大的波动。
3.2 首包时间
首包时间是指浏览器发送HTTP请求结束开始,到收到WEB服务器返回的第一个数据包的消耗时间
在首包时间上:阿里云<华为云<ucloud<移动云<青云<联通wo云<天翼云
在指定的首包时间测试中,各个云的连接时间,总体来说都在200ms以内,在14:00时间点有延迟加大,向上波动,16:00回归,各个云的表现整体均在200ms一下,表现合格。
3.3 首屏时间
首屏时间是指,浏览器显示第一屏主页面的消耗时间
在首屏时间上:华为云<青云<阿里云<联通wo云<移动云<天翼云<ucloud
在指定的首屏时间测试中,各个云的连接时间,总体来说都在2000ms以内,比较平稳,相差不大。
Part4 块存储性能
4.1 IO带宽
IO尺寸:256K iodepth:32 thread:1
4.2 IOPS
IO尺寸:8K iodepth:32 thread:64
天翼云和联通沃云的io性能都非常的高,移动云、阿里云、华为云的带宽iops都达到了官方文档的限速数据。天翼云的顺序读、写带宽性能最好,但是与官方文档查到的限速数据不符,如果用户多的情况下,性能是否会相互影响,是否还能保证如此高的数据?联通云默认云硬盘只能是性能盘,iops相当之高。
4.3 时延
IO尺寸:256K iodepth:32 thread:1
IO尺寸:8K iodepth:32 thread:64
参考iops和吞吐率,不难分析出,由于部分公有云iops和带宽都有做限速的原因,压力测试的情况下,io会排队,延迟会比较高,是正常情况。
Part5 对象存储性能
主要通过各个云内网测试了移动云、阿里云、华为云的对象存储性能。其他云环境未测试原因如下:
1)青云和天翼云不支持内网访问。
2)联通沃云停止提供对象存储服务。
3)通过jmeter工具测试ucloud的对象存储,需要开发jmeter插件。
4)经与华为云技术客服确认华为云主机访问对象存储内网带宽约100Mb/s,与实测结果相近,单个客户端并发访问量增大,性能测试出现Error警告。
5.1对象上传
5.2 对象下载
5.3 对象删除
对象大小不变的条件下,随着并发数的增大,阿里云主机提供了更大的内网访问带宽,移动云由于受内网访问带宽限制,访问云存储时带宽限制成为瓶颈。相同并发线程条件下,阿里云对小对象具有较好的性能优势。
移动云删除文件时,采用同步删除方式,即删除元数据的同时删除了实体数据,优化了小对象垃圾数据回收效率;阿里云删除对象性能较好,采用异步删除方式,即只删除元数据,实体数据后台异步删除。
Part6 云主机稳定性
在各个公有云虚机上部署的web应用在相同运行压力下查看网卡流量、应用cpu负载、磁盘io的稳定性及虚机可用性。
阿里云:
Ucloud云
移动云
青云
华为云
各公有云厂商虚机稳定性都不错,测试期间云主机的可用性都为100%。其中移动云平均CPU利用率较高,华为云磁盘利用率在测试过程中出现了几个比较高的峰值。
总结:
从本次测试结果来看,
- 云主机计算性能排名:联通沃云>移动云>aws(global)>阿里云>青云>Ucloud>华为云>天翼云;
- 网络性能:阿里云>华为云>Ucloud>青云>联通云>天翼云>移动云;
- 云主机部署应用用户体验性能:华为云>阿里云>青云>Ucloud>移动云>联通云>天翼云;
- 存储性能因各家云的限速值不同,不作排名,详细数值参考Part4。
为了考察可用性、可靠性,在云主机中部署web应用检测了一周,各家云之间的差异都比较小,稳定性都不错,可用性100%。
另外,本次仅从性能方面去考量各个云的产品,尚未考虑到价格方面等因素,价格同样也是用户做出选择非常重要的因素,后续会把价格考虑进去。
由于精力有限,无法将国内其他云计算厂商的产品都拿来测试,欢迎有兴趣的朋友对自己所使用的云计算产品进行测试,并将结果分享出来,方便大家参考。
本文中如有任何错误,还请大家指正。
附录
指标名称 |
指标定义 |
测试工具 |
综合性能 |
指包括字符串处理、浮点运算效率和速度、文件数据传输、管道吞吐、系统调用等多个维度的处理能力的综合,取决于cpu、内存、磁盘、操作系统等各方面的性能,测试结果与一个基准系统进行比较,得到一个指数值,指数值越高,性能越好。 |
Unixbench |
CPU延时 |
指特定时间内,虚拟 CPU 在排队等候物理 CPU 进行处理的时间,可以衡量超分的情况,因此,这个测试的数据越低,说明 CPU 的响应越快,延迟越低。 |
rt-test |
内存带宽 |
内存带宽这里是指用户空间程序内存数据拷贝操作的速度,数值越大,性能越好。 |
Mbw |
TPmc |
tpmC值在国内外被广泛用于衡量计算机系统的事务处理能力,为"每分钟内系统处理的新订单个数,数值越大性能越好。 |
Tpcc-mysql |
连接时间 |
连接时间是浏览器与web服务器建立TCP/IP连接所消耗的时间 |
控制台/fiddler |
首包时间 |
首包时间是指浏览器发送HTTP请求结束开始,到收到WEB服务器返回的第一个数据包的消耗时间 |
控制台/fiddler |
首屏时间 |
首屏时间是指,浏览器显示第一屏主页面的消耗时间。也就是用户所见完全展示的时间,他对用户体验有很大影响。 |
控制台/fiddler |