大数据引发混合云井喷,了解四大场景与三大关键技术

进入2018年,我国大数据应用产业正在迎来爆发式增长的一年。作为第五次进入政府工作报告的关键词,大数据已经从国家战略高度到产业发展规划再到具体的发展行动,形成了系统布局、全面扩散、整体爆发之势。2017年底,在“大数据是信息化发展新阶段”的论断下,作为底层技术平台的混合云即将在2018年迎来井喷式发展。

赛迪顾问在“2018中国IT市场年会”上预测,混合云、Docker等技术在2018年将进入规模化部署期。而混合云技术的灵活性可极大提高工作负载,很多大型企业希望私有云和公有云能够顺畅对接、自由切换等,这将对混合云架构产生巨大需求。混合云将覆盖政务、广电、医疗、安防、银行等行业领域,成为云计算市场的主力。

在部署和构建混合云时,基础设施或架构层面的技术非常重要。云计算产业联盟《混合云白皮书(2017年)》指出,x86架构由于其更开放、更加标准化、更简单易用的特性成为混合云平台基础设施的首选。以Intel为代表的厂商不断加速布局新技术新领域,比如英特尔至强可扩展处理器在平台融合与计算、
存储、内存、网络和业务可持续性等功能方面树立了全新的标准,推进数据中心的现代化改造、提升运营效率,使总体运营成本降低至四年前老系统的65%。

在英特尔及其混合云生态合作伙伴 OpenStack、AzureStack、VMware、Nutanix、Oracle、BAT等全面推动下,2018年将有更多的企业关键应用迁移到混合云平台上,企业也将更加积极主动地采取混合云策略,走上混合云之路。

混合云的四大应用场景

在英特尔白皮书《从策略到平台和基础设施选型—谈企业如何构建混合云》中,指出混合云的出现是以私有云建设为前提。大中型企业的IT建设通常有着自建或托管的数据中心基础设施,并且正在或已经过渡为私有云。而混合云将企业IT运营模式由基础设施为核心转变为以应用为核心,使得IT可以结合本地传统数据中心、私有云和公有云来找到部署应用程序的“最佳执行地点”。

目前共有四种典型的混合云场景:跨地域业务,大中型企业的分支机构或生态合作伙伴遍全国乃至全球,可以利用公有云相对广泛的数据中心覆盖,就近提供服务、缩短延迟、改善体验;峰谷型业务,对于促销活动等季节性业务的相关IT应用峰值高,适合完全按使用量计费的公有云;云灾备业务,企业自建灾备中心的投资较大且需要异地部署,绝大多数时间都处于闲置状态,可将公有云作为备份数据存储或业务容灾的站点;开发类业务,把公有云作为开发平台,而保持私有云的生产环境定位,兼顾开发上的灵活性和运营上的稳定性。

英特尔白皮书《从策略到平台和基础设施选型—谈企业如何构建混合云》认为,在上述四种场景为代表的情况下,企业可以兼用私有云和公有云并密切协同、组成混合云,同时兼顾成本和灵活性。

在工作负载的分配方面,英特尔白皮书指出四大原则,即:稳定的工作负载放入私有云;核心的业务、数据放入私有云;边缘接入负载放入公有云;爆发型负载放入公有云。

混合云的三大关键技术

在混合云的技术体系中,虚拟化技术、关键业务数据处理技术、软件定义存储与超融合架构是混合云的三大关键技术。在企业构建混合云之前以及在调整和优化混合云的过程中,需要对三大关键技术有深入了解。

首先是虚拟化技术。基于虚拟机(Virtual

Machine,VM)的底层资源分配方式,目前依然是私有云与IaaS公有云的主流技术。作为私有云的主流技术之一,KVM开源虚拟化技术在英特尔和RedHat等业界领先软硬件厂商的推动下,已经取得了很高的市场占有率。与之相配合,物理服务器采用的CPU内核越多、配备的内存容量越大,所能提供的虚拟机数量也就越多。

而云基础设施中的服务器内核及内存越多,意味着可以用更少的服务器来满足业务需求。以英特尔至强可扩展平台为例,它针对不断演进的数据中心和网络基础设施而设计,为企业提供更高的能源效率和系统性能,比前代处理器平均提高1.65倍;而与4年前上市的系统相比,可支持虚拟机数量提升达4.2倍。

其次是在线事务处理(OLTP)等关键业务数据处理技术。对于大中型企业来说,以Oracle、SAP

HANA数据库为代表的关键业务应用仍是企业运营的重中之重。而数据库或数据仓库的云化技术或云数据库,也是整个云计算技术演进的重点,各数据库厂商和云服务厂商都纷纷推出了自己的数据库云技术。

在底层硬件平台方面,英特尔至强可扩展处理器的问世,打破了原来四路平台上英特尔至强处理器E5(E5-4600系列)与E7家族(最高可达8路服务器)的界限,为上层的数据库云化和云数据库提供了灵活的硬件支持。英特尔至强铂金家族和金牌61xx系列部分型号,还提供了每CPU支持1.5TB内存的能力,更好地满足高性能实时内存计算(In-memory)的需求。

第三是软件定义与超融合架构。超融合架构融合了计算虚拟化与分布式软件定义存储,以软硬件一体的模块化单元出现,便于快速部署并大幅简化了运维。超融合架构被越来越多地作为私有云或混合云的交付手段,例如微软的Azure
Stack一体机就基于超融合架构,并作为混合云中的私有云部署方案。

软件定义存储的特征是大量采用高性能的SSD固态盘作为存储介质,并通过以太网访问。而新兴的NVMe

SSD已能实现五六倍于传统SATA接口SSD的I/O性能、100微秒(μs)以内的响应时间,这意味着网络也需要提供更高的带宽和更短的延迟。英特尔至强可扩展处理器平台集成了英特尔万兆以太网控制器x722的选项,支持高达40GbE的带宽,还可极大缩短应用的I/O延迟、降低处理器的占用率、提高传输的效能。

多云管理的创新合作伙伴

当前越来越多的企业发现,市场上并没有全面的通用解决方案,而必须选择使用不同的技术。混合云的优势在于能够适应不同的平台需求,既能提供私有云的安全性也能够提供公有云的开放性,但同时也需要很强的多云管理能力才能很好地驾驶混合云技术环境。

狭义上讲,混合云至少是使用了两种以上不同部署形式的云技术,包括公有云,私有云、社区云等,都可以称之为混合云。广义上讲,混合云也指混合IT,括云与云的组合、云与传统IT的组合、云与虚拟化技术的组合等。目前,中国市场上已经形成了BAT、OpenStack、VMware、Nutanix、Oracle、微软等六大x86架构的私有云和混合云流派,市场格局趋于成熟稳定。

然而,真正意义上的混合云不是公有云与私有云的简单累加,而应该是一个有机的整体,混合云需要一个统一的云管平台。根据Gartner的定义,云管平台是一种管理公有云、私有云和混合云环境的整合软件产品,除了应具备的自服务界面、系统镜像、计量和计费等基础功能外,还应该能够通过建立策略实现一定程度的负载优化,而这就需要软硬一体化的调优,统一的硬件基础架构自然更便于统一管理、维护和软硬集成调优。

在软硬集成调优方面,英特尔从OpenStack开源社区一开始就支持该社区内技术与企业的发展,甚至英特尔自己也投资了OpenStack公司。此外,浪潮、联想、Dell、HPE、AWS、微软、BAT、Oracle、VMware等软硬件公司也都是英特尔的合作伙伴,从云计算一开始就与英特尔深度合作。

这正是大众所不了解的英特尔的另一面:从虚拟化和云计算技术萌芽期开始,英特尔就一直在扮演“创新合伙人”角色。在虚拟化15年、云计算超10年的技术发展历程中,英特尔不但提供了服务器的处理器,还在软件、方案、开源社区等领域提供了从硬件到软件的全面支持,与合作伙伴为企业构建云计算平台提供了丰富的解决方案,加快了企业构建和部署混合云的速度。

已经具有145年历史的招商局集团,其核心综合管控系统集中部署在深圳市蛇口数据中心,此前并没有完备的异地备份和容灾措施。英特尔与中国联通天翼云、华为、深信服等合作,用天翼云混合云服务为招商集团实现了双活灾备,包括建设应用级双活灾备中心、打造分钟级灾备应急能力、彻底解决数据库层的虚拟化问题、实现小型机向x86架构的迁移等。2017年底,“招商局双活混合云平台”获得2017中国混合云优秀案例奖。

《混合云白皮书(2017年)》指出,混合云正被越来越多的企业所采纳,甚至对于大多数企业而言,混合云将成为最优的云战略。Gartner预测,到2020年,90%的组织将利用混合云管理基础设施。由于混合云的技术多样性,选择合适的创新合作伙伴就尤为重要。而在这方面而言,基于英特尔x86平台的混合云厂商已经形成了一个完整的技术生态,为企业大数据应用的爆发打下了良好的技术基础。(文/宁川)

原文地址:http://blog.51cto.com/cloudtechtime/2092888

时间: 2024-10-15 18:56:04

大数据引发混合云井喷,了解四大场景与三大关键技术的相关文章

大数据时代数据库-云HBase架构&生态&实践

摘要: 2018第九届中国数据库技术大会,阿里云高级技术专家.架构师封神(曹龙)带来题为大数据时代数据库-云HBase架构&生态&实践的演讲.主要内容有三个方面:首先介绍了业务挑战带来的架构演进,其次分析了ApsaraDB HBase及生态,最后分享了大数据数据库的实际案例. 2018第九届中国数据库技术大会,阿里云高级技术专家.架构师封神(曹龙)带来题为大数据时代数据库-云HBase架构&生态&实践的演讲.主要内容有三个方面:首先介绍了业务挑战带来的架构演进,其次分析了A

大数据云计算openstack云平台基础到精通实践视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

大数据平台架构组件选择与运用场景

一.大数据平台 大数据在工作中的应用有三种: 与决策相关,数据科学的领域,了解统计学.算法,这是数据科学家的范畴: 与工程相关,如何实施.如何实现.解决什么业务问题,这是数据工程师的工作. 数据工程师在业务和数据科学家之间搭建起实践的桥梁.本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面. 如图所示,大数据平台第一个要素就是数据源,我们要处理的数据源往往是在业务系统上,数据分析的时候可能不会直接对业务的数据源进行处理,而是先经过数据采集.数据存储,之后才是数据分析和数据处理. 从整个大

大数据潮流下的机器学习及应用场景

机器学习是一门人工智能的科学,能通过经验自动改进的计算机算法的研究.  机器学习是一个多学科交叉的领域,会涉及到计算机.信息学.数学.统计学.神经科学等. 机器学习是大数据的核心技术,本质都是基于经验的算法处理.机器学习强调三个关键词:算法.经验.性能,其处理过程如下图所示. 在数据的基础上,通过算法构建出模型并对模型进行评估.评估的性能如果达到要求,就用该模型来测试其他的数据:如果达不到要求,就要调整算法来重新建立模型,再次进行评估.如此循环往复,最终获得满意的经验来处理其他的数据. 机器学习

物理网大数据基础架构研发+智能家居应用场景

平台介绍 平台简介 智能平台的主要功能如下: 智能家居基础架构平台定位于PaaS\DaaS服务的兼顾. 下面具体介绍一下我们如何定位PaaS服务的: 在物联网应用和真实设备之间搭建高效.稳定.安全的应用平台:面向设备,适配多种网络环境和常见传输协议,提供各类硬件终端的快速接入方案和设备管理服务:面向企业应用,提供丰富的API和数据分发能力以满足各类行业应用系统的开发需求,使物联网企业可以更加专注于自身应用的开发,而不用将工作重心放在设备接入层的环境搭建上,从而缩短物联网系统的形成周期,降低企业研

大数据时代,市场对企业级云存储的需求更加迫切

随着移动互联网的迅速发展,智能终端.可穿戴设备.智能家居.物联网以及基因测序正在快速普及.企业和用户每天接触的数据吞吐量呈现出指数级的增长趋势,我国社会正在步入大数据爆炸的时代. 大数据时代降临的今天,个人云存储服务早已迈向免费时代,而中国各行各业的互联网化与现实世界数据化的趋势,计算和应用都更加需要集中化,使得市场对企业级别云存储的需求更加迫切. 企业级数据的大爆发 IBM商业研究院与牛津大学的合作调研研究报告称,整个人类文明所获得的全部数据中,有 90%是过去两年内产生的.而到了 2020

阿里云HBase全新发布X-Pack 赋能轻量级大数据平台

一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻炼.4个PMC,6个committer,造就了国内最大最专业的HBase技术团队,其中HBase内核中超过200+重要的feature是阿里贡献.集团内部超过万台的规模,单集群超过千台,全球领先. 二.HBase技术团队重磅发布X-Pack,重新赋能轻量级大数据平台 阿里云自从17年8月提供HBas

大数据科学新发展展望:不得不知的四大趋势

从2012年开始,几乎人人(至少是互联网界)言必称大数据,似乎不和大数据沾点边都不好意思和别人聊天.从2016年开始,大数据系统逐步开始在企业中进入部署阶段,大数据的炒作逐渐散去,随之而来的是应用的蓬勃发展期,一些代表成熟技术的标志性IPO在国内外资本市场也不断出现.转眼间,大数据几年前经历的泡沫正在无可争议地转移到人工智能身上.可以说,在过去的一年,AI所经历的共同意识"大爆炸"与当年的大数据相比,有过之而无不及.最近风口又转移到区块链上了,某种程度上也成为业内人士焦虑的一种诱因了.

chinacloud大数据新闻

2015年大数据发展八大趋势   (0 篇回复) “数据很丰满,信息很骨感”:Sight Machine想用大数据的方法,打碎两者间的屏障   (0 篇回复) 百度携大数据"圈地"证券业 "BAT"开启互联网金融新战场   (0 篇回复) 码农的春天到了?   (0 篇回复) 浪潮大数据一体机出招 装备科研“最强大脑”   (0 篇回复) 方物软件承担国家“核高基”重大专项研发   (2 篇回复) 2013互联网大会透露的热点与新趋势   (1 篇回复) 大数据从幕