云测评报告

前言

本次评测选取了8家云服务提供商,包括阿里云,青云,天翼云,Ucloud,联通沃云,华为云,移动云,aws。旨在对云服务提供商提供的计算、网络、存储的相关指标进行量化评比,在尽量保证测试环境相同的情况下,提供客观公正的测试数据,从技术层面评估各云产品性能。

测评手段

本次评测使用提供客观公正的测试数据,从技术层面评估各云产品性能,用24h连续测试的数据进行对比。选择开源的工具进行对比测试,数据和测试方法更加的客观公正公开,也为用户自己去测试云产品的性能时提供参考。

测评时间

2017.4.19-2017.5.5

云服务提供商配置



 备注:

1.因aws-china只针对企业用户开放使用,个人无法购买其产品,所以选择了aws-global东京节点来进行部分指标的测试。

2.操作系统、资源区域等个别云服务提供商无法提供相同的条件,只能选择最相似的测试条件。

Part1.云主机计算性能

1.1 综合性能   

字符串处理、浮点运算效率和速度、文件数据传输、管道吞吐、系统调用等多个维度的处理能力的综合

移动云的云主机综合性能得分都是最高的。天翼云在综合性能得分排在最低的位置。其他云的云主机的综合性能得分比较接近,也都比较不错。稳定性方面从24小时的走势来看,基本都比较稳定,没有大幅的波动

1.2 CPU延时

特定时间内,虚拟 CPU 在排队等候物理 CPU 进行处理的时间,衡量cpu超分超卖的情况

相比较,aws和华为云的cpu延迟比较高,而青云和阿里云的cpu延迟比较低。


1.3 内存性能 

用户空间程序内存数据拷贝操作的速度



联通沃云的内存带宽最高,aws、移动云、阿里云的内存带宽也都比较高,华为、青云、ucloud次之,天翼云最低。稳定性方面,24小时内华为云的内存带宽波动比较大,移动云的也有两个时间点下降明显,其他云相对都比较稳定。

1.4 数据库业务性能测试

云主机中跑数据库业务的性能,Tpmc值指单位时间内处理订单的个数

联通沃云和aws的云主机上部署数据库的性能最好,阿里云、青云次之,移动云和天翼云tpmc表现也还不错,ucloud和华为云在数据库性能方面与其他公有云方面表现较差。稳定性方面,24小时内除了aws在12点有所下降,其他都相对很稳定。

Part2.网络性能

2.1 网络延迟



阿里云、华为云、Ucloud、青云几乎没有网络延迟,网络非常流畅。

天翼云、联通沃云、移动云网络延迟程度良好,没有明显的延迟情况,基本不影响用户体验感受。

2.2 外网带宽测试



 

天翼云订购了5M带宽,实际却达到了20M左右的带宽,应该是限速方面存在bug。

除去异常的天翼云外,华为云带宽较高,阿里云稍高于5M,其他联通沃云、Ucloud、移动云、青云相差不大。总体来说,大家基本都能达到订购的5M带宽,表现合格。

同样的测试工具、测试方法,天翼云没有采集到相关数据。

测试时,华为云发送的udp包乱序严重,除此之外,其他公有云厂商都表现合格。

3.3 UDP抖动时间



 

联通沃云、阿里云和华为云的抖动时间非常小,udp包在链路上传输时间相当一致,网络非常稳定。Ucloud、移动云和青云的udp抖动时间较大,网络稳定情况相对稍差。青云的抖动时间在24小时内波动也相对较大。

Part3 应用用户体验

3.1 连接时间

连接时间是浏览器与云主机中部署的web服务器建立TCP/IP连接所消耗的时间

各个云的连接时间,总体来说都在100ms以内,而且都比较平稳,无较大的波动。

 3.2 首包时间

首包时间是指浏览器发送HTTP请求结束开始,到收到WEB服务器返回的第一个数据包的消耗时间

在首包时间上:阿里云<华为云<ucloud<移动云<青云<联通wo云<天翼云

在指定的首包时间测试中,各个云的连接时间,总体来说都在200ms以内,在14:00时间点有延迟加大,向上波动,16:00回归,各个云的表现整体均在200ms一下,表现合格。


3.3 首屏时间

首屏时间是指,浏览器显示第一屏主页面的消耗时间    



在首屏时间上:华为云<青云<阿里云<联通wo云<移动云<天翼云<ucloud

在指定的首屏时间测试中,各个云的连接时间,总体来说都在2000ms以内,比较平稳,相差不大。

Part4  块存储性能

4.1 IO带宽

IO尺寸:256K iodepth:32 thread:1



 

4.2 IOPS

IO尺寸:8K iodepth:32 thread:64

天翼云和联通沃云的io性能都非常的高,移动云、阿里云、华为云的带宽iops都达到了官方文档的限速数据。天翼云的顺序读、写带宽性能最好,但是与官方文档查到的限速数据不符,如果用户多的情况下,性能是否会相互影响,是否还能保证如此高的数据?联通云默认云硬盘只能是性能盘,iops相当之高。

4.3  时延

IO尺寸:256K iodepth:32 thread:1

 

 

IO尺寸:8K iodepth:32 thread:64

参考iops和吞吐率,不难分析出,由于部分公有云iops和带宽都有做限速的原因,压力测试的情况下,io会排队,延迟会比较高,是正常情况。

Part5  对象存储性能

主要通过各个云内网测试了移动云、阿里云、华为云的对象存储性能。其他云环境未测试原因如下:

1)青云和天翼云不支持内网访问。

2)联通沃云停止提供对象存储服务。

3)通过jmeter工具测试ucloud的对象存储,需要开发jmeter插件。

4)经与华为云技术客服确认华为云主机访问对象存储内网带宽约100Mb/s,与实测结果相近,单个客户端并发访问量增大,性能测试出现Error警告。


5.1对象上传

5.2 对象下载

5.3 对象删除

对象大小不变的条件下,随着并发数的增大,阿里云主机提供了更大的内网访问带宽,移动云由于受内网访问带宽限制,访问云存储时带宽限制成为瓶颈。相同并发线程条件下,阿里云对小对象具有较好的性能优势。

移动云删除文件时,采用同步删除方式,即删除元数据的同时删除了实体数据,优化了小对象垃圾数据回收效率;阿里云删除对象性能较好,采用异步删除方式,即只删除元数据,实体数据后台异步删除。

Part6  云主机稳定性

在各个公有云虚机上部署的web应用在相同运行压力下查看网卡流量、应用cpu负载、磁盘io的稳定性及虚机可用性。

阿里云:

Ucloud云

移动云

青云

华为云

各公有云厂商虚机稳定性都不错,测试期间云主机的可用性都为100%。其中移动云平均CPU利用率较高,华为云磁盘利用率在测试过程中出现了几个比较高的峰值。

总结:

从本次测试结果来看,

  • 云主机计算性能排名:联通沃云>移动云>aws(global)>阿里云>青云>Ucloud>华为云>天翼云;
  • 网络性能:阿里云>华为云>Ucloud>青云>联通云>天翼云>移动云;
  • 云主机部署应用用户体验性能:华为云>阿里云>青云>Ucloud>移动云>联通云>天翼云;
  • 存储性能因各家云的限速值不同,不作排名,详细数值参考Part4。

为了考察可用性、可靠性,在云主机中部署web应用检测了一周,各家云之间的差异都比较小,稳定性都不错,可用性100%。

另外,本次仅从性能方面去考量各个云的产品,尚未考虑到价格方面等因素,价格同样也是用户做出选择非常重要的因素,后续会把价格考虑进去。

由于精力有限,无法将国内其他云计算厂商的产品都拿来测试,欢迎有兴趣的朋友对自己所使用的云计算产品进行测试,并将结果分享出来,方便大家参考。


本文中如有任何错误,还请大家指正。

附录


指标名称


指标定义


测试工具


综合性能


指包括字符串处理、浮点运算效率和速度、文件数据传输、管道吞吐、系统调用等多个维度的处理能力的综合,取决于cpu、内存、磁盘、操作系统等各方面的性能,测试结果与一个基准系统进行比较,得到一个指数值,指数值越高,性能越好。


Unixbench


CPU延时


指特定时间内,虚拟 CPU 在排队等候物理 CPU 进行处理的时间,可以衡量超分的情况,因此,这个测试的数据越低,说明 CPU 的响应越快,延迟越低。


rt-test


内存带宽


内存带宽这里是指用户空间程序内存数据拷贝操作的速度,数值越大,性能越好。


Mbw


TPmc


tpmC值在国内外被广泛用于衡量计算机系统的事务处理能力,为"每分钟内系统处理的新订单个数,数值越大性能越好。


Tpcc-mysql


连接时间


连接时间是浏览器与web服务器建立TCP/IP连接所消耗的时间


控制台/fiddler


首包时间


首包时间是指浏览器发送HTTP请求结束开始,到收到WEB服务器返回的第一个数据包的消耗时间


控制台/fiddler


首屏时间


首屏时间是指,浏览器显示第一屏主页面的消耗时间。也就是用户所见完全展示的时间,他对用户体验有很大影响。


控制台/fiddler


时间: 2024-11-07 12:30:57

云测评报告的相关文章

华为软件开发云测评报告二:代码检查

相关文章:<华为软件开发云测评报告一:项目管理> 体验环境 体验方式:PC端 系统:Windows 64位 浏览器类型:Chrome浏览器 浏览器版本:58.0.3029.110 体验时间:2017.06.25 分析目的 了解华为软件开发云的代码检查服务功能,分析其优缺点: 从人工代码检视到自动化代码检查,华为软件开发云如何保证代码质量: 代码检查未来的发展趋势: 产品简介 产品名称:华为软件开发云 定位:软件开发云(DevCloud)是集华为研发实践.前沿研发理念.先进研发工具为一体的研发云

华为软件开发云测评报告三:测试管理

往期文章: 华为软件开发云测评报告一:项目管理 华为软件开发云测评报告二:代码检查 体验环境 体验方式:PC端 系统:Windows 64位 浏览器类型:Chrome浏览器 浏览器版本:58.0.3029.110 体验时间:2017.07.06 分析目的 了解华为软件开发云的测试管理服务功能,分析其优缺点: 自动化测试工具未来的发展趋势: 产品简介 产品名称:华为软件开发云 定位:华为软件开发云(DevCloud)是集华为研发实践.前沿研发理念.先进研发工具为一体的研发云平台,面向开发者提供研发

华为软件开发云测评报告一:项目管理

体验环境 体验方式:PC端 系统:Windows 64位 浏览器类型:Chrome浏览器 浏览器版本:49.0.2623.110 m 体验时间:2017.05.11 测试目的 了解华为软件开发云的项目管理服务功能,分析其优缺点: 瀑布化开发到敏捷开发的转型分析,以及未来软件开发模式的发展方向: 产品简介 产品名称:华为软件开发云 定位:软件开发云(DevCloud)是集华为研发实践.前沿研发理念.先进研发工具为一体的研发云平台,面向开发者提供研发工具服务,让软件开发简单高效. 产品slogan:

(转)2016年第一期云评测报告

我们在说起云服务的时候,厂商传递给我们的信息总是非常简单:打消所有的顾虑,我们会帮你处理所有的事情. 但是云服务真的能让你省心吗? 也许可以,但是还有一个更严峻的问题:当你面对众多云服务厂商,不懂套路的你如何选择?牵涉指标太多,专业的云性能指标也不那么易懂,到底哪款适合你? 没有关系这都不再是问题,继2015年<中国公有云用户体验报告>后,听云又一重磅报告<2016第一期云评测报告>正式发布.此次报告是听云iDaaS中心利用自主研发的听云Network产品,从模拟真实用户的角度对不

游戏开发者眼中的Unity 3D网页游戏测评报告

目前,能够实现3D页游的主流技术有Silverlight.XNA.Flash.HTML5和Unity3D.其中,Unity3D作为一款专注于3D游戏的浏览器插件,近期在国内外页游产品线骚动异常:本人从多方收集到可注册的Unity3D页游测试发现,当下的Unity3D技术应用尤其在国内正遭遇着尴尬而无奈的窘迫境地,原因为何?大伙不妨先看看其中7款游戏测试数据: <骑士的远征>(国产) 类型:SLG 模型与场景环境:低 性能:一般 下载体验:动态加载UI和模型动画,但很卡,耗时久 操作:典型的保姆

华为软件开发云发布管理测评报告

华为软件开发云的发布管理是面向软件开发者提供软件组件仓库,生命周期,内部及第三方依赖等管理服务,支撑产品持续发布,提升发布质量及效率.目前发布管理支持提供了Maven私有仓.中央仓代理.内部组件依赖管理服务. 目前发布服务提供的Maven仓库有release(发布仓),snapshot(快照仓),Mirror(中央仓镜像库),编译构建仓四种类型,其中release和snapshot属于租户级私有仓,用户归档用户内部软件组件的发布版本和快照版本,并支持通过Maven配置进行租户内依赖共享:Mirr

Azure 混合云调查报告

总的说来混合云才是未来的趋势,现在各家云计算公司都在发力混合云! 本篇力推基于Azure的混合云

启动时间知多少?8款音视频类应用测评报告分析

应用开启和退出是用户最常使用的场景,应用启动时间则是用户对应用启动性能最直观的感受.应用启动时间如何进行测试?本期测评将以8款常见的音视频类应用为例,分享绿色应用启动时间测试方法及标准. 一般情况下,应用启动时间在1秒以内,用户反馈系统响应很快:1-3秒内完成启动,用户认为反应速度尚可:3-5秒内完成启动,用户会认为系统反应很慢,但是还可以接受:若启动时间超过5秒,则大部分用户会认为系统反应糟糕,甚至卸载应用. 安卓绿色联盟应用体验标准规定,应用冷启动时间应该不超过1000毫秒,热启动时间应该不

报告显示我国仅有40.3%的企业使用云服务

以连接.协同.共享.智能为核心特征的企业上云,是企业顺应数字经济发展潮流.快速获取数字化能力.实现数字化转型重生的重要路径.各省市已纷纷推出"企业上云"行动计划,抢占经济转型发展先机.近日由用友.工业信息安全发展研究中心.两化融合服务联盟联合研制发布的<中国企业上云指数报告(2017)>显示,目前我国仅有40.3%的企业使用了云服务.全国各省市企业上云指数水平呈现"东高西低"的分布态势. 报告从基础云化.云化创新.管理变革三个维度构建企业上云指数指标体系