今年,大数据和云计算一起作为科技术语出现。大数据意味着非常多的事情,但是被援引的次数太多了,几乎失去了其本来的定义。大数据的定义通常和速率(数据移动得快),体积(数据规模庞大),和种类(非结构化和结构化的信息)三点有关。
大数据真的如人们所描述的那样吗?是的。对我来说,大数据代表了科技和商业的一致——也就是首席信息官们始终追求的圣杯(Holy Grail)——成为了一件顺理成章的事情。大数据项目从本质上来说和营收、风险利润是相关的。换句话说,信息科技和商业世界情不自禁地联合了起来。
显然我们正处在一个追捧大数据的阶段,我认为可以和1990年代末的Linux和2000年代初的开源软件运动相提并论。那时候Linux正要开始改变世界,和微软等厂商一较高下。从许多方面来说,Linux和开源软件(比如安卓)的确改变了一切。但是在行业变革的过程中发生了一个有趣的事情——开放软件成了每一个数据中心的标准配置,如今已经被认为是理所应当了。这场变革发生了,我们仅仅是不再谈论它而已。云计算也是一样。
大数据会遵循同样的发展路线。当然,会创造数百万个工作机会,相关人才也会变得有一点抢手。公司们也会用大数据升级各自的行业。随着Cloudera这样的创业公司成为新的红帽子(Red Hats),各家厂商的市场座次也逐渐明朗。
如下是我对大数据未来几年的展望。
2013年:2012年的试验项目成品化,每一个行业的垂直领域都会有一个成功的大数据案例。
2014年:在2013年成功经验和客户研究案例的基础上,一些行动快速的市场跟随者将进入大数据领域。各个行业都将遵循大数据的游戏规则。初期的回报看上去会很不错。公司的主要关注点在内部数据上,因为有很多东西可以挖掘。外部数据也很有用,但是这段时期不会有什么新进展。
2015年:在制定大数据计划时,公司们开始将目光投向外部数据。在2015年之前,消费者所面对的公司都在花费大部分时间用于研究外部信息。每一个分析师和数据仓库都将会有一个Hadoop计算簇和一个大数据层。像Hadoop这样的技术不再受人关注,因为这些技术始终非常重要,慢慢淡化进入软件栈。围绕大数据题材的整合并购开始加速。
2016年:数据驱动的决策代替了直觉和常识。这个时候公司们要开始仔细思考数据的使用,避免出现无意义的数据。公司会因为错误解读了数据而导致重大事故的发生。
2017年:云和大数据、数据仓库合并起来,成为了一项服务,“分析即服务”和“数据即服务”成为主流。很少有公司真正考虑创建自己的Hadoop计算簇进行整合工作。大数据基础设施即将实现。注意:2017年是这些大数据即服务为大众所普及的一个估算时间。大数据即服务的市场竞争在这个时间段正在进行,将会于不久涉及到关键的大范围用户群。
大数据在IT采购周期上又是怎样的情况呢?大数据项目需要有更多高级别的管理人员。
分析如下:
首席信息官:大数据项目终于能让首席信息官解决一直以来的“我们一致吗?”问题。 首席财务官:将大数据分析作为控制成本、最大化利润的方式。潜在风险是公司有可能因为忽略人的因素而失去好的机会。
首席市场官:2012年,首席市场官成了IT采购的红人。不过这有点不太合理,因为首席市场官主要依赖外部数据和信号判断项目。
首席运营官,采购人员:商业智能大数据可以让存货、供应和制造过程自始至终都可以进行追踪。效率能够得到改进。
数据科学家:这部分员工越来越被看作是“首席”管理层的接班人。职场方面,数据高手想去哪家公司都行。
据证券时报网快讯中心综合媒体报道,在工信部发布的物联网“十二五”规划上,把信息处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。而另外3项信息感知技术、信息传输技术、信息安全技术,也与“大数据”密切相关。