从2015年开始,大数据就已经被移出了Gartner的新兴技术炒作曲线。“Big Data”(大数据)一词最早于2011年8月出现在Gartner新兴技术炒作曲线中,当时Gartner预计大数据技术需要2年到5年才能进入企业的实际生产型应用中。从那以后,大数据就迅速被市场热炒,最终在2015年彻底在Gartner新兴技术炒作曲线中消失。
进入2016年,大数据已经进入了实际的企业生产应用,在切实推动企业向数字化转型。另一家市场调查公司IDC则强调,在未来5年中,全球的数据驱动型企业将获得超过2万亿美元的额外收益,分别来自成本降低、生产力提高以及营收增加等三个领域,相应分布在业务运营、客户体验、企业创新和运营支撑等方面。
那么,这2万亿的数据价值究竟如何实现?IDC数据分析与信息管理集团副总裁Dan Vesset表示,云化的数据分析与管理解决方案正在推动企业数字化转型方面起重要作用,未来5年基于云服务的数据分析与管理解决方案的增速将比部署于本地的解决方案高4.5倍。这意味着将有越来越多的企业采用基于云的数据分析与管理服务,大数据时代真的来了!
数据分析随需应变
根据IDC的观察,在过去几年里,关于大数据的热炒已经显著降温。无论在各类会议、论坛还是媒体,讨论的重要已经不是数据的“大”或“类型”了。IDC数据显示,在美国已经有23%的企业部署了Hadoop、32%的企业部署了NoSQL数据库,他们基本上已经经历了一轮新型数据管理与分析的技术部署周期,对各类大数据技术的优缺点有了更好的理解。
(上图:数据驱动型企业将获得超过2万亿美元的额外收益,IDC 2015)
实际上,今天已经有多种技术选择,从本地部署到云端部署以及混合部署,加上来自企业内部和外部各类源头的数据,而用户自助式数据管理与分析需求也在不断增长。在一次与IBM的访谈中,Dan Vesset表示现在企业的大数据应用重点已经转移到数据管理与分析战略架构上,主要体现在为用户提供一种可以根据数据需求而随需应变的数据管理与分析服务。
IDC认为,从现在到2020年,自助式可视化数据探索及数据处理市场将比传统非自助式解决方案的增长快2.5倍甚至更多。特别是自助式数据获取与处理服务,将越来越受到市场的重视。原因很简单,就是对于很多非专业型用户来说,他们可能是企业里的会计、市场营销人员、人力资源管理人员甚至是普通的项目人员,但也需要做数据分析与处理。
以云服务的方式提供数据管理与分析服务,这让各类用户能够以低成本、高效率和更快的速度使用上大数据技术。但更为重要的是,基于云服务的大数据管理与分析为用户提供新型的交互界面与接口,这就是可视化数据管理与分析,特别是能在智能手机等智能终端上随时“消费”数据与数据分析,这将让大数据无处不在、无时不在,而这样才能真正发挥手机的“连接”能力。
基于云服务的数据与分析解决方案把大数据的能力在整个企业范围内分享,甚至合作伙伴、供应商和客户也能共享企业大数据,这让大数据进一步扩展至与企业相关的整个生态环境里。加上物联网解决方案,让企业生态内的成员把数据与分析用于自己业务的同时,另一方面也能随时感知和认知整个企业生态范围的各种数据动态,把“小”分析与“大”分析连接起来,就能做出更好的商业决策。
把大数据变成云服务
在今年初IBM首席执行官Ginni Rometty公开表示将向认知计算与云计算平台方向转型,经过近半年的努力后,形成了开发平台、云服务以及开源数据工具相结合的云数据服务体系Cloud Data Services,在中国则通过与世纪互联合作的方式率先实现了云数据库产品Cloudant的落地。
(IBM Bluemix公有云将于2016年10月19日正式落地中国,更多IBM云数据服务将随之落地)
实际上,IBM从2004年开始就不断加大投入,花费了将近200亿美金,打造出完善而丰富的大数据分析能力。现在,IBM希望能把这些结构化数据处理、非结构化处理以及大数据分析的能力,通过云服务形式提供给企业。IBM今年提出了被称为Analytics Platform Services的战略并成立了相应部门,让更多用户通过云端使用IBM的数据服务。
据IBM中国区开发中心大数据以及分析平台总经理吉燕勇介绍,IBM Cloud Data Services涵盖了几乎全部的IBM核心大数据及分析技术能力,可以分为五个方面:数据库、数据分析、企业内容管理、数据集成和洞察服务。尤其是IBM Cloud Data Services的开源开放平台,让企业能够以自助方式进行数据管理与分析。
在全面性方面,IBM Cloud Data Services提供了25种流行的开源大数据技术以及IBM自己的数据库产品,其中包括MongoDB、PostgreSQL、Elasticsearch、Redis、RethinkDB、etcd、RabbitMQ、基于开源CouchDB架构的托管数据库Cloudant、优化的Apache Spark和Hadoop以及IBM自己的DB2、DB2 BLU、dashDB、Informix等等。
吉燕勇表示,IBM云数据服务的核心竞争力在于拥有这些数据库的源码,在源码级层面为用户提供管理服务(Managed Service,即外包托管服务),这极大降低了企业IT和开发者的负担。IBM希望能将开源技术与IBM自身在大数据领域的优势结合在一起,为用户打造一个相对完善的数据服务环境。
此外,IBM Cloud Data Services是面向企业的平台级服务,企业用户可得到全天候的技术支持服务。目前IBM通过美国、英国、中国三个地区的团队来提供24x7的企业级服务,对企业用户需求实现快速响应,保障业务连续性。
针对中国市场,IBM通过与世纪互联合作,在即将于10月推出IBM Bluemix PaaS公有云中落地了Cloud Data Services相关的大数据分析服务,开发者可以在Bluemix平台上直接调用IBM的数据分析与处理服务。
数据分析十二年
在过去十几年当中,吉燕勇一直在IBM中国开发中心工作。IBM中国开发中心于1999年成立,专门负责开发IBM自己的核心产品。
(上图为IBM中国区开发中心大数据以及分析平台总经理吉燕勇)
2004年之前,吉燕勇主要负责IBM电子商务及相关产品的开发工作。从2004年到2010年之间,为了给国内银行用户提供更强的数据库技术支持,吉燕勇负责组建了IBM中国开发中心的数据库开发团队,从事结构化数据解决方案。此外,吉燕勇也负责组建了IBM的非结构化数据和企业内容管理开发团队。
到2011年的时候,因为IBM收购了SPSS、Cognos等公司,吉燕勇又组建了业务分析团队。至此,IBM中国开发中心大数据及分析平台的结构化数据团队、非结构化数据团队以及分析团队就比较完整了。而因为市场对大数据人才的需求越来越强,IBM从2012年开始与西安交大共同设立了IBM大数据分析专业,吉燕勇同时也兼任着该系的主任一职。
近两年IBM的技术方向变化比较快,重点往认知计算、云平台方向发展。因此在2016年IBM把负责云端开发的部门独立出来,吉燕勇负责所有大数据以及分析的云端开发工作。目前,吉燕勇主要负责实现云上的大数据分析能力,而他所在的团队也负责为IBM全球用户提供云数据服务运维支持,实现不宕机保障。
吉燕勇表示,IBM希望打造的云数据服务平台,首先要把IBM所有数据管理与分析技术能力整合进来,然后这些能力相互配合形成整体服务,再以云服务的方式对外输出。IBM还准备加速研发,在数据科学以及机器学习等方面加强投入,让云数据服务平台更加完善。
IBM Cloud Data Services云数据服务落地中国,也是由吉燕勇的团队牵头负责。吉燕勇表示,IBM需要适应并遵从中国相关的数据安全法规,在此基础上加速Cloud Data Services相关服务的落地,同时加大与本地企业的合作力度,尽快解决落地过程中遇到的各种问题,不断推动服务落地的进程。
吉燕勇强调,中国市场发展非常快,很多地方是跳跃式发展,在大数据方面也是如此。随着IBM Cloud Data Services云数据服务的推出,把大数据以云服务的方式提供给企业、开发者和最终用户,只需要在线订阅云服务即可,而无需安装复杂的基础设施和管理软件,这做到了数据分析随需应变,也符合中国市场跳跃式发展的特点。
随着企业和用户切实用上大数据,真正发挥大数据的价值,大数据时代就真的到来了。(文/宁川,《云科技时代》微信号:CloudTechTime)