大数据战略需要数据中心基础架构作出的改变有哪些?

为大数据选择新的硬件、存储和其它数据中心基础设施,这是IT专业人员们所面临的新挑战。推行大数据战略的压力往往来自高层,因为管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有五点:

一、围绕大数据选择存储

在成功的大数据策略下,企业可以将来自内部的高质量数据与Hadoop挖掘自多个云供应商的低质量数据进行整合。这也就改善了业务相关数据的质量,让分散在各地的数据能组织成为具备一致和及时性的大数据资源。

大数据正在改变中央数据仓储和松耦合数据集市的决策基础,后者的存储库规模要小得多,既可以替代中央数据仓库,也可以成为中央数据仓库的数据源。随着各地办事机构或者国际子公司的增加,中央管理层在业务线扩大的同时更需要高质量的数据来维持管控力度,避免权力的分散。

二、支持大数据的硬件

大数据导致的存储需求量每年都将增长60%至80%.鉴于这种快速增长和当前的成本限制,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件。类似大型机的向上扩展体系结构重新兴起,因为它们能够经济高效地扩展,降低总体拥有成本。同样,在提升性能方面,固态硬盘(SSD)和固态卡带都比传统磁盘做得更好。

三、大数据分析和报告能力

虽然嵌入式分析工具已经可以利用报告和自动优化功能改善业务流程,但大数据再次改变了分析规则。例如,和传统上对单个客户进行主要行为分析洞察相比,大数据战略能为每个客户创建一个迭代和洞察分析线程,让公司能跟踪客户并更好地维持与所有客户的长期关系。

典型的大数据分析从业人员被称为数据科学家,和常规的IT主管不同,他们更可能同时担任CMO。然而,IT专业人员必须明白他们公司的大数据策略对数据科学家的工作产生的影响。

四、利用SSD的存储分层策略

存储成本很高,而且越快的存储也就越昂贵。最重要的是,大数据要求存储同时提供大容量和“大”性能。存储分层在存储资源池中提供多种成本/性能选项,从昂贵的高性能固态存储到传统的串行SCSI(SAS)磁盘存储,这些选项的组合降低了总拥有成本。在主内存和磁盘之间增加一个固态层将有助于将大数据任务的性能维持在高位,而且不会引起存储成本失控。

SSD的用量应遵从“90-10”的存储分层规则:成本和速度的最佳组合比例是:使用大约10%的SSD和90%的机械硬盘。这一策略让IT公司用仅增加10%成本的代价就能获得90%以上的性能提升。主内存和SSD的容量比例也遵从同样的规则。

五、企业中的Hadoop

Hadoop为数据密集型应用提供“紧贴着”MapReduce文件系统处理程序框架的分布式文件系统。此文件系统支持针对富文本数据的并行事务扩展,例如社交媒体数据。许多IT公司通过在企业内创建自己的Hadoop版本来解决从Web获取Hadoop数据源的问题。然而,缺乏专业知识是一种挑战:精通这种发展中的 Web数据管理框架的专业和艺术的IT管理人员犹如凤毛麟角。

组织开发他们自己的数据管理工具时应该留意,如IBM、Oracle和EMC 的这些主要供应商,往往既提供专有产品用于访问Hadoop数据,也可进行定制开发,让IT公司不需要专门的数据归纳措施就能访问需要的数据。如果您决定搭建自己的数据平台,供应商也提供整合服务,使Hadoop更贴合现有IT资源来高效运作。

每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整,与时俱进。

原文地址:https://www.cnblogs.com/xuexiqun784789432/p/9245471.html

时间: 2024-10-14 11:04:17

大数据战略需要数据中心基础架构作出的改变有哪些?的相关文章

超融合基础架构与同城灾备建设实践

如何基于超融合及相应的 CDP 软件建设一个高可用.高稳定.高处理能力.低成本的灾备中心,进而满足监管要求,同时降低 IT 部门的 TCO? 2012 年监管单位发出 <关于加强基金管理公司信息系统备份能力建设工作> 的通知,通知里面明确了公募基金公司需要按照<证券期货经营机构信息系统备份能力标准>执行落实各业务系统备份能力建设目标和等级.2018 年底,监管单位发布的<证券基金经营机构信息技术管理办法>再次提到备份系统建设要求,即证券基金经营机构应当确保备份系统与生产

物理网大数据基础架构研发+智能家居应用场景

平台介绍 平台简介 智能平台的主要功能如下: 智能家居基础架构平台定位于PaaS\DaaS服务的兼顾. 下面具体介绍一下我们如何定位PaaS服务的: 在物联网应用和真实设备之间搭建高效.稳定.安全的应用平台:面向设备,适配多种网络环境和常见传输协议,提供各类硬件终端的快速接入方案和设备管理服务:面向企业应用,提供丰富的API和数据分发能力以满足各类行业应用系统的开发需求,使物联网企业可以更加专注于自身应用的开发,而不用将工作重心放在设备接入层的环境搭建上,从而缩短物联网系统的形成周期,降低企业研

大数据: 战略 技术 实践 电子书 PDF 下载 制作 定制 服务

内容推荐 本书从实际技术解决方案出发,提出了大数据技术四层架构,即基础设施层.管理层.分析层.应用层.在此基础上,全面剖析了当前大数据领域中的主流技术,并配以行业应用实例和一线研发人员的独到见解.力求使读者能够通过阅读此书,全面了解当前大数据技术动态和发展趋势,并可针对自己面临的大数据问题找到可行的解决方案. 作者简介 本书编写组来自于EMC中国研究院和Vmware中国研发团队,他们将亲历的丰富的大数据分析处理研究成果和企业大数据实施经验,带到本书中,使得本书在技术的广度与深度方面得到很好地配合

[转]携程大数据实践:高并发应用架构及推荐系统案例

本文来自携程技术中心基础业务研发部的<应用架构涅槃>系列分享.据基础业务研发部负责人李小林介绍,互联网二次革命的移动互联网时代,如何吸引用户.留住用户并深入挖掘用户价值,在激烈的竞争中脱颖而出,是各大电商的重要课题.通过各类大数据对用户进行研究,以数据驱动产品是解决这个课题的主要手段,携程的大数据团队也由此应运而生:经过几年的努力,大数据的相关技术为业务带来了惊人的提升与帮助.以基础大数据的用户意图服务为例,通过将广告和栏位的“千人一面”变为“千人千面”,在提升用户便捷性,可用性,降低费力度的

数据中心网络架构

传统数据中心网络架构 传统数据中新网络架构通常是3层结构,(园区网一般也是3层结构)Cisco称之为:分级的互联网络模型,包含三层: Core 核心层 : 提供高速转发,为多个汇聚层提供连接性Aggregation 汇聚层 :汇聚连接接入交换机,同时提供其他服务(FW.SLB.等)Access 接入层 :物理连接服务器,一般放在机柜顶端,也称ToR交换机 一个三层架构图如下: 汇聚是网络的分界点,汇聚交换机以下是L2网络,以上是L3网络,每组汇聚交换机是一个pod,根据业务分区分模块.pod内是

蔡先生论道大数据之十: 企业如何入手大数据战略(1)

今天之后的几章我们重点讨论企业如果要利用大数据应该从那几个方面入手,我粗粗的总结了一下大致分三个方面,这三个方面做到为了,恭喜你你的企业正开始享受和拥有大数据来的红利和价值. 具体入手之前,我们先要明确一点就是首先企业管理层需要有清晰思路然后从上到下认真贯彻,管理层还要对预期的业务影响要有个清晰的认识,能够给出从数据收集.模型建立到企业文化转型的一揽子方法,避免掉进"数据可以为企业做那些"这样的思维陷阱中去. 企业定制大数据战略,需要注意三个关键点,说白了也就根据前面文章总结出来的精髓

大数据时代的新BI系统架构发展趋势

商业智能(BI,Business Intelligence),它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策. 商业智能的概念最早在1996年提出.当时将商业智能定义为一类由数据仓库(或数据集市).查询报表.数据分析.数据挖掘.数据备份和恢复等部分组成的.以帮助企业决策为目的技术及其应用.目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具.商务智能系统中的数据来自企业其他业务

大数据云计算openstack云平台基础到精通实践视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

数据中心基础设施管理(DCIM)解决方案能为管理者带来什么?

忙到无法节省时间 数据中心的管理效率可以通过浪费的时间和金钱来衡量.在最近的一项调查中,分别来自美国和英国的200位数据中心管理者表示,运用数据中心基础设施管理(DCIM)解决方案这类工具可以使他们的工作"更容易.更快捷.更节省成本". 如果应用DCIM解决方案真的能节省时间并有效降低运营费用,那为什么调查发现仍有43%的数据中心管理者还在依靠人工方法替代DCIM呢?到底是什么原因阻碍了DCIM的应用呢? 没有时间或预算实施DCIM 英特尔委托Redshift调研机构深入探寻当下数据中