一小时内完成百万计算任务?

公有云技术日益成熟和稳定,各种服务越来越完善,逐渐被各行业的客户所接受。越来越多的专业计算的客户也开始将目光转向公有云来解决算力不足的问题。想要充分的利用云的优势,高效的完成计算任务,需要从应用优化到底层架构适配一套端到端的解决方案。本期速石科技产品总监张先军将与大家分享速石专业计算云平台如何从各个层面帮助客户多快好省的完成计算任务的。

张先军:速石科技产品总监,超过12年的IT行业经验,曾在EMC,HP, 华为3com任职,熟悉虚拟化和云计算技术,专注于企业级IT产品定义和解决方案设计。

首先先来介绍一下某客户分享的一个他们常用的计算任务。这个任务输入有数个大小从几百MB到GB的规模的文件,在计算过程中,文件会被转换和切割,最终会形成百万级别的计算任务。客户已经对该计算任务做了一些优化,如多进程并行化的改造。这样的计算规模,在本地的一台高配的机器上,运行100万个计算任务需要50天左右的时间。这还要祈祷中间千万不要出现断电什么意外情况。客户提供了一个约1万计算任务的测试文件,在某公有云上启动了一台和本地配置相似的实例,实测用了约11小时。这些任务都属于计算密集型应用,任务运行起来CPU的占有率都在95%以上。在我们做测试的云上起这样的实例大约需要18元一小时。这样算下去,如果算50天的话,也是一笔不小的成本。所以,客户的需求很明显,如何将本地的算力无缝扩展到云,利用云端的超大资源池优势,又快又省的完成计算?

Fastone Compiler

速石Fastone compiler框架,它能自动分析各个任务间的依赖关系,将当前传统应用转换成云原生应用的工作流,转换过程可快速完成。经过了Fastone compiler的转换,计算任务就可以被充分的并行化,集群化,充分利用云端超大规模计算资源池的优势了。

Fastone Virtual Cloud

那么怎么在云端建立超大规模资源池呢,用什么云,用哪个云,这些由Fastone Virtual Cloud来搞定。它自动整合本地和云端资源成统一资源池,多云支持,自动按需在云端启动计算任务所需的超大规模资源池。为了让应用能无缝的在本地和云之间流动,我们使用了容器来封装应用。

成本

再来看看成本,主流云厂商有类似的AWS spot instance的技术,让用户可以以很低的价格使用本来很贵的实例。如果使用的人很多,云厂商资源不足或者有人出价更高等情况,这些运行实例可能会被强行中断。本来要跑50天呢,说断就断的话,谁敢用啊。所以速石专业计算云平台使用机器学习算法自动预测spot instance的供需及价格情况,自动调整和迁移受影响的任务和资源,用户再也不用担心spot被抢了。

速石专业计算平台融合以上各种技术,对用户完全透明。对专业用户来说,通过计算平台运行任务只需要:传应用,传数据,提交任务。然后就可以坐等结果了。速石专业计算平台的设计理念是:屏蔽底层复杂的IT细节,让专业的人专注于专业的事。

最后让我们来看看结果,本次测试通过速石专业的计算平台执行一万个计算任务,同时,为了测试的扩展性,我们通过策略指定了运行任务的CPU Core数。下图是最终的结果。从图中可以看出,经过优化后,成本降低的同时,计算时间大大下降,计算效率随着系统算力的上升而线性上升。以540 core的运行结果为例。最终的运算时间是45分钟,效率约提升了14倍。让我们来算一下成本,当时的spot实例的价格稳定维持在4.26元左右,计算成本约为:4.26 x 15 x 45 / 60 = 48元(注:忽略了少量的存储及其它成本)。计算一下没有改造过的计算成本:11 x 18.141 = 200元。成本下降了76%。按照这样的线性扩展能力,百万级别的任务计算在一小时内完成也不是不可能了。

看到这里,您是否初步了解了速石专业计算平台强大的功能了呢。有关该产品的更多详细信息,请关注速石微信公众号。

? end ?

公众号ID:Fastone_tech

网址:http://www.fastonetech.com/

原文地址:https://www.cnblogs.com/fastone/p/9718046.html

时间: 2024-10-24 17:24:41

一小时内完成百万计算任务?的相关文章

找出1小时内占用cpu最多的10个进程的shell脚本

cpu时间是一项重要的资源,有时,我们需要跟踪某个时间内占用cpu周期最多的进程. 在普通的桌面系统或膝上系统中,cpu处于高负荷状态也许不会引发什么问题.但对于需要处理大量请求的服务器来讲,cpu是极其重要的资源. 通过监视某个时期内cpu的使用情况,我们可以找出长期占用cpu的进程并对其进行优化,或调试其它相关问题. 在linux系统中,ps命令用于收集系统中进程的详细信息.这些信息包括cpu使用情况.正在执行的命令.内存使用.进程状态等.记录在一个小时内占用过的cpu的进程,然后通过恰当地

really?:讲师承诺:24小时内答疑;所有课时永久观看(不提供下载);课件下载

讲师承诺:24小时内答疑:所有课时永久观看(不提供下载):课件下载.看上图,really? 还有,我希望,51CTO学院,开发个客户端.我想平时,可以在我的安卓手机或iPhone上看教程.

(SegWit)隔离见证人在24小时内激活:比特币会如何变化?

海外最新数字货币比特币最新资讯: 什么是隔离见证? 隔离见证(通常简写为SegWit)是对比特币软件提出的一种更新,旨在解决比特币面临的一系列严重问题. SegWit是由比特币长期团队开发的对于Bitcoin Core的拟议更新.Bitcoin Core是当前最受欢迎的比特币标准客户端,由业内大多数企业使用. 最初,该更新旨在解决交易的可扩展性,这也是比特币软件中众所周知的弱点.虽然这种攻击向量对用户来说并不是最具破坏性的,但目前为止已经在多个攻击案例中被利用,因此也就凸显了修补这一漏洞的必要性

双十一邢台清河淘宝电商 10小时进账过百万-亿淘江

双十一邢台清河淘宝电商 10小时进账过百万-亿淘江长城网邢台11月12日讯(助理记者 刘杨)11月11日,既是大家眼中的光棍节,更是电商们的狂欢节,从11 日零时开始,清河县的电商们都卯足了劲儿,在网络上打起了一场看不见硝烟的战争,有的电商10个小 时就进账百万.396.1294.2153……昨日凌晨刚过,看着公司网店订单如脱缰野马,老板赫华敬眼睛一 直盯着电脑上的后台数据.在他的旁边,十几名客服已经陆陆续续完成前期的咨询,看着买家闷声猛下单.这是双十一凌晨,清河 县一家电商公司的一幕.“平时人

[转]1小时内打造你自己的PHP MVC框架

简介 MVC框架在现在的开发中相当流行,不论你使用的是JAVA,C#,PHP或者IOS,你肯定都会选择一款框架.虽然不能保证100%的开发语言都会使用框架,但是在PHP社区当中拥有*多数量的MVC框架.今天你或许还在使用Zend,明天你换了另一个项目也许就会转投Yii,Laravel或者CakePHP的怀抱.如果你刚开始使用一种框架,当你看它的源码的时候你会觉得一头雾水,是的,这些框架都很复杂.因为这些流行的框架并不是短时间之内就写出来就发行的,它们都是经过一遍又一遍的编写和测试加上不断的更新函

使用Symfony 2在三小时内开发一个寻人平台

简介 Symfony2是一个基于PHP语言的Web开发框架,有着开发速度快.性能高等特点.但Symfony2的学习曲线也比 较陡峭,没有经验的初学者往往需要一些练习才能掌握其特性. 本文通过一个快速开发寻人平台的实例向读者介绍 Symfony2框架的一些核心功能和特点.通过阅读本文,你可以通过一些具体的例子了解Symfony2框架的优秀特性和技术特点 ,从而体会到使用Symfony2框架支持快速网站开发这一优势. 适合人群 本文适用于希望提高PHP语言的开发技术,或者对Symfony2框架有兴趣

【视频】半小时内编写一个贪吃蛇游戏

贪吃蛇编写提纲 致谢: 感谢 Ronnie Mooney ,我是在学习了他的视频后完成这个视频的,你可以在 [C#] Creating a Snake Game - Less than an Hour 找到他的视频(需翻墙,请自备梯子). 编写 Input 静态类 初始化静态变量 private static readonly Hashtable _keys = new Hashtable() 编写方法 public static void ChangeState(Keys key, bool

微星极光公众号激活宝——微信公众号48小时内无限制定时推送消息

前言 凡是运营过公众号的人都知道,微信公众号分为订阅号和服务号,订阅号一天群发一次,服务号一月才四次,对于许多运营的公众号来说这次数远远不够用,最近发现微星极光推出了一个新功能:公众号激活宝,通过微信内部接口实现48小时内无限制向用户推送消息的功能 Q1:48小时信息推送可以实现无限制向用户推送消息吗? 答:可以,但是只能对48小时内与公众号互动的粉丝群发信息,这里的互动是指对话,扫码,关注,点菜单,只要满足其中一个动作均算作互动. Q2:48小时信息推送的内容有哪些? 答:没有数量限制地推送文

微信公众号如何查看48小时内客户足迹?48小时后还能查看客户足迹?

不少企业客服人员都在烦恼,每次接待客户都是通过刷新网页的形式进行沟通的.对接客户接待及时性不高,还容易流失高精准粉丝.经常总是忙忙碌碌,却又碌碌无大为,空有忙碌的姿态,然而业绩不好,老板就怀疑我们不努力,不好好干活,没多聊得客户回来成单,结果是因为我们的企业缺乏工具啊啊啊!前提:你得有一个鱼塘软件(还没有的快跟你老板说吧).处理消息有大动作--以往的你:新消息/留言来了,要刷新网页才看得到,稍微一个小动作,就一不小心关闭了网络,又得重新打开,你一脸茫然......浪费时间不说,主要是够折腾.现在