《云计算架构技术与实践》连载20:2.4.5 大数据分析云

2.4.5大数据分析云

基于云计算总体架构下的大数据分析云解决方案,如图2-33所示。

图2-33
大数据分析云解决方案架构子系统组合

大数据分析云解决方案为海量静态数据批处理以及大流量动态流数据处理为关键特征的企业及行业应用场景提供支撑,通过自动化提取与归纳价值信息实现业务增值。大数据分析云由云计算的并行数据分析与挖掘平台所支撑,可充分利用云计算底层能力创造最大价值。

在海量静态数据批处理的场景下,大数据分析平台需要充分分析经过相当长一段时间积累的,存储容量庞大的历史数据(如话单、日志、话统信息等)。大数据分析平台的并行数据处理引擎进一步依赖于弹性计算集群、弹性存储服务、分布式结构化存储服务以及分布式消息队列服务,为诸如互联网电子商务网站用户、电信运营商的BSS/OSS系统、视频娱乐类网站、搜索类网站提供服务。大数据分析平台所提供的服务类型包括:信息库精细化搜索、用户消费行为日志分析、系统运行日志分析以及集中监控信令信息的智能分析和挖掘。这些大数据分析服务为精确定位广告推送、网络运维优化、基于用户消费趋势分析的销售策略优化等商业运营提供决策性支撑。

在大流量动态数据流处理的场景下,其关键特征在于对来自于数量庞大的信息源所产生的动态事件与动态数据(比如来自电信网络实时检测的信令信息、来自于众多车辆GPS的定位信息、来自物联网终端实时采集的信息等),在一个相对较短的时间窗口内,进行动态数据的流水线方式自动关联分析与处理,并给出及时、准确和智能的执行策略决策,为特定业务目标服务(如大规模智能交通云、物流云网络的构建)。与上节数据批处理在分割、合并与混排等中间步骤所涉及的大量持久化存储I/O交互方面的特征相比,其最大差异处在于,数据流处理过程更讲究处理的及时性与敏捷控制能力,因此处理过程主要在内存中完成。流处理与批处理可以统一在相同的框架引擎之下。

为便于广大第三方应用开发编程人员以及云计算平台生态系统的合作伙伴充分独立于海量数据批处理以及流处理业务的内部实现架构细节,可在并行数据分析引擎与并发应用之间设置SQL/类SQL适配与翻译层,提供开发人员所熟知的SQL或类SQL规范语言进行海量数据的操作。

时间: 2024-10-06 06:52:56

《云计算架构技术与实践》连载20:2.4.5 大数据分析云的相关文章

《云计算架构技术与实践》之云接入的典型应用

桌面云的概念和价值 云接入的典型应用就是我们最常见到的桌面云. 什么是桌面云,桌面云的定义是:"可以通过瘦客户端或者其他任何与网络相连的设备来访问跨平台的应用程序以及整个客户桌面."也就是说我们只需要一个瘦客户端设备,或者其他任何可以连接网络的设备,通过专用程序或者浏览器,就可以访问驻留在服务器端的个人桌面以及各种应用,并且用户体验和我们使用传统的个人电脑是一模一 样的. 桌面云的业务价值很多,除了上面提到的随时随地访问桌面以外,还有下面一些重要的业务价值. 集中化管理 在使用传统桌面

《云计算架构技术与实践》连载15:2.3.2~2.3.6 弹性伸缩、高性能、用户体验、高安全、高可靠

版权全部,未经华为书面许可,请勿转载或转发. 2.3.2 弹性伸缩 弹性伸缩要求以同样架构,支撑从最少几个计算与存储节点.到最大10万甚至是100万级的计算与存储节点集群规模,且保证数据中心容量扩展过程中的业务连续性及业务服务不中断,或中断时延最短. 这里的弹性伸缩扩展能力应该体如今: l  管理节点弹性伸缩能力. l  数据中心资源的弹性伸缩能力: l  所承载云租户业务的计算集群弹性伸缩能力: l  承载用户数据信息及系统卷镜像的存储集群的弹性伸缩能力 l  连接计算与存储集群资源的网络弹性

《云计算架构技术与实践》连载(13)2.3 云计算核心架构竞争力衡量维度

版权全部,未经华为书面许可.请勿转载或转发 2.3       云计算核心架构竞争力衡量维度 从将云计算技术引入传统数据中心所带来的独特商业价值角度看,重点能够从开源与节流两个方面来衡量云计算的核心竞争力. 节流(Cost Saving)方面 在业务系统搭建过程中.云计算和虚拟化使得企业及运营商的烟囱式软件应用能够突破应用边界的束缚,充分共享企业范围内.行业范围内.甚至全球范围内公用的"IT资源池",无需採购和安装实际物理形态的server.交换机及存储硬件,而是依赖于向集中的&quo

《云计算架构技术与实践》连载19:2.4.4 企业私有云

版权所有,未经华为书面许可,请勿转载或转发 基于云计算总体架构下的企业私有云解决方案如图2-32所示. 图2-32 企业私有云解决方案架构子系统组合 伴随IT与网络技术的飞速发展,IT信息系统对于企业运作效率.核心竞争力,以及企业透明化治理正在扮演越来越重要和无可替代的作用,而企业信息集中化.企业核心信息资产与商业逻辑的规模越来越庞大,跨不同厂家IT软硬件产品的集成复杂度不断增加.企业IT系统的架构正在从传统的与特定厂家硬件平台及管理系统绑定的客户端/服务器(B/S, C/S)架构向更为集中化的

《云计算架构技术与实践》连载22:2.4.7 媒体云

版权所有,未经华为书面许可,请勿转载. 基于云计算总体架构下的媒体云解决方案如图2-35所示. 图2-35 媒体云解决方案架构子系统组合 媒体云解决方案依托云计算平台的弹性计算集群,弹性存储集群,分布式结构化存储服务,以及分布式消息队列服务,为广电系统电视台企业提供高效率的媒体存储.编辑及缓存加速的计算与存储资源托管服务. 媒体云采用云平台的关键驱动力来源于面向公共媒体传播的广播电视行业(包括国家及地方电视台.广播电台)从模拟传统卡带式存储向全面的数字媒体化方向发展演进过程中,对数字化内容与云数

《云计算架构技术与实践》连载23:2.4.8 电信NFV云

版权所有,未经华为许可,请勿转载或转发 基于云计算总体架构下的电信NFV云解决方案如图2-36所示. 图2-36 电信NFV云解决方案架构子系统组合 NFV(Network Function Virsualization网络功能虚拟化)旨在通过研究标准IT虚拟化技术,使得电信网络设备的功能能够以软件方式运行在符合行业标准的大容量通用的服务器.交换机和存储设备中去.这里的软件可以根据需要在网络中不同位置的硬件上安装和卸载,不需要安装新的硬件设备.简单地说,NFV就是想在平台层引入云计算平台,实现电

《云计算架构技术与实践》连载17:2.4.2 存储云

版权所有,未经华为书面许可,请勿转载或转发 2.4.2 存储云 基于云计算总体架构下的存储云解决方案如图2-30所示. 图2-30 存储云解决方案架构子系统组合 云存储解决方案依托云计算平台的弹性存储.分布式对象存储,以及操作运维及业务发放管理系统等功能,通过集成第三方的企业在线备份软件.个人网盘.个人媒体上载及共享类软件,允许云存储运营商提供面向个人消费者用户的廉价/高性能网络存储服务以及面向企业用户的在线备份及恢复类服务. 云存储平台与企业备份/恢复类应用软件,以及个人网盘.个人媒体上载/共

《云计算架构技术与实践》连载21:2.4.6 数据库云

版权所有,未经华为书面许可,请勿转载或转发. 2.4.6 数据库云 基于云计算总体架构下的数据库云解决方案,如图2-34所示. 图2-34 数据库云解决方案架构子系统组合 数据库云主要指的是基于云平台构建的结构化/半结构化数据库处理系统. 数据库云可以基于虚拟化平台,也可以基于物理平台直接构建. 在性能要求高的场景下,一般基于物理平台构建,系统无需弹性计算部分(图中虚线表现):而在要求容量很大,应用用户很多的情况下,则可采用基于虚拟化平台构建的形式. 数据库云一般以数据库一体机的形态出现,会在以

《云计算架构技术与实践》连载(16):2.4云计算解决方案典型架构组合及落地应用场景之2.4.1桌面云

版权所有,未经华为书面许可,请勿转载或转发 2.4       云计算解决方案典型架构组合及落地应用场景 2.4.1 桌面云 基于云计算总体架构下的桌面云解决方案如图2-29所示. 图2-29 桌面云解决方案架构子系统组合 桌面云解决方案主要基于云计算平台的弹性计算.弹性存储.操作运维及业务发放管理系统功能,通过集成桌面云会话控制管理及远程虚拟桌面控制代理等模块,提供针对企业内部应用的呼叫中心桌面云.营业厅终端桌面云.Office办公桌面云解决方案,以及面向公众网用户的VDI出租业务. 其主要业