当不再炒作大数据的时候,大数据时代就真的来了

从2015年开始,大数据就已经被移出了Gartner的新兴技术炒作曲线。“Big Data”(大数据)一词最早于2011年8月出现在Gartner新兴技术炒作曲线中,当时Gartner预计大数据技术需要2年到5年才能进入企业的实际生产型应用中。从那以后,大数据就迅速被市场热炒,最终在2015年彻底在Gartner新兴技术炒作曲线中消失。

  进入2016年,大数据已经进入了实际的企业生产应用,在切实推动企业向数字化转型。另一家市场调查公司IDC则强调,在未来5年中,全球的数据驱动型企业将获得超过2万亿美元的额外收益,分别来自成本降低、生产力提高以及营收增加等三个领域,相应分布在业务运营、客户体验、企业创新和运营支撑等方面。

  那么,这2万亿的数据价值究竟如何实现?IDC数据分析与信息管理集团副总裁Dan Vesset表示,云化的数据分析与管理解决方案正在推动企业数字化转型方面起重要作用,未来5年基于云服务的数据分析与管理解决方案的增速将比部署于本地的解决方案高4.5倍。这意味着将有越来越多的企业采用基于云的数据分析与管理服务,大数据时代真的来了!

  数据分析随需应变

  根据IDC的观察,在过去几年里,关于大数据的热炒已经显著降温。无论在各类会议、论坛还是媒体,讨论的重要已经不是数据的“大”或“类型”了。IDC数据显示,在美国已经有23%的企业部署了Hadoop、32%的企业部署了NoSQL数据库,他们基本上已经经历了一轮新型数据管理与分析的技术部署周期,对各类大数据技术的优缺点有了更好的理解。

(上图:数据驱动型企业将获得超过2万亿美元的额外收益,IDC 2015)

  实际上,今天已经有多种技术选择,从本地部署到云端部署以及混合部署,加上来自企业内部和外部各类源头的数据,而用户自助式数据管理与分析需求也在不断增长。在一次与IBM的访谈中,Dan Vesset表示现在企业的大数据应用重点已经转移到数据管理与分析战略架构上,主要体现在为用户提供一种可以根据数据需求而随需应变的数据管理与分析服务。

  IDC认为,从现在到2020年,自助式可视化数据探索及数据处理市场将比传统非自助式解决方案的增长快2.5倍甚至更多。特别是自助式数据获取与处理服务,将越来越受到市场的重视。原因很简单,就是对于很多非专业型用户来说,他们可能是企业里的会计、市场营销人员、人力资源管理人员甚至是普通的项目人员,但也需要做数据分析与处理。

  以云服务的方式提供数据管理与分析服务,这让各类用户能够以低成本、高效率和更快的速度使用上大数据技术。但更为重要的是,基于云服务的大数据管理与分析为用户提供新型的交互界面与接口,这就是可视化数据管理与分析,特别是能在智能手机等智能终端上随时“消费”数据与数据分析,这将让大数据无处不在、无时不在,而这样才能真正发挥手机的“连接”能力。

  基于云服务的数据与分析解决方案把大数据的能力在整个企业范围内分享,甚至合作伙伴、供应商和客户也能共享企业大数据,这让大数据进一步扩展至与企业相关的整个生态环境里。加上物联网解决方案,让企业生态内的成员把数据与分析用于自己业务的同时,另一方面也能随时感知和认知整个企业生态范围的各种数据动态,把“小”分析与“大”分析连接起来,就能做出更好的商业决策。

  把大数据变成云服务

  在今年初IBM首席执行官Ginni Rometty公开表示将向认知计算与云计算平台方向转型,经过近半年的努力后,形成了开发平台、云服务以及开源数据工具相结合的云数据服务体系Cloud Data Services,在中国则通过与世纪互联合作的方式率先实现了云数据库产品Cloudant的落地。

(IBM Bluemix公有云将于2016年10月19日正式落地中国,更多IBM云数据服务将随之落地)

  实际上,IBM从2004年开始就不断加大投入,花费了将近200亿美金,打造出完善而丰富的大数据分析能力。现在,IBM希望能把这些结构化数据处理、非结构化处理以及大数据分析的能力,通过云服务形式提供给企业。IBM今年提出了被称为Analytics Platform Services的战略并成立了相应部门,让更多用户通过云端使用IBM的数据服务。

  据IBM中国区开发中心大数据以及分析平台总经理吉燕勇介绍,IBM Cloud Data Services涵盖了几乎全部的IBM核心大数据及分析技术能力,可以分为五个方面:数据库、数据分析、企业内容管理、数据集成和洞察服务。尤其是IBM Cloud Data Services的开源开放平台,让企业能够以自助方式进行数据管理与分析。

  在全面性方面,IBM Cloud Data Services提供了25种流行的开源大数据技术以及IBM自己的数据库产品,其中包括MongoDB、PostgreSQL、Elasticsearch、Redis、RethinkDB、etcd、RabbitMQ、基于开源CouchDB架构的托管数据库Cloudant、优化的Apache Spark和Hadoop以及IBM自己的DB2、DB2 BLU、dashDB、Informix等等。

  吉燕勇表示,IBM云数据服务的核心竞争力在于拥有这些数据库的源码,在源码级层面为用户提供管理服务(Managed Service,即外包托管服务),这极大降低了企业IT和开发者的负担。IBM希望能将开源技术与IBM自身在大数据领域的优势结合在一起,为用户打造一个相对完善的数据服务环境。

  此外,IBM Cloud Data Services是面向企业的平台级服务,企业用户可得到全天候的技术支持服务。目前IBM通过美国、英国、中国三个地区的团队来提供24x7的企业级服务,对企业用户需求实现快速响应,保障业务连续性。

  针对中国市场,IBM通过与世纪互联合作,在即将于10月推出IBM Bluemix PaaS公有云中落地了Cloud Data Services相关的大数据分析服务,开发者可以在Bluemix平台上直接调用IBM的数据分析与处理服务。

  数据分析十二年

  在过去十几年当中,吉燕勇一直在IBM中国开发中心工作。IBM中国开发中心于1999年成立,专门负责开发IBM自己的核心产品。

(上图为IBM中国区开发中心大数据以及分析平台总经理吉燕勇)

  2004年之前,吉燕勇主要负责IBM电子商务及相关产品的开发工作。从2004年到2010年之间,为了给国内银行用户提供更强的数据库技术支持,吉燕勇负责组建了IBM中国开发中心的数据库开发团队,从事结构化数据解决方案。此外,吉燕勇也负责组建了IBM的非结构化数据和企业内容管理开发团队。

  到2011年的时候,因为IBM收购了SPSS、Cognos等公司,吉燕勇又组建了业务分析团队。至此,IBM中国开发中心大数据及分析平台的结构化数据团队、非结构化数据团队以及分析团队就比较完整了。而因为市场对大数据人才的需求越来越强,IBM从2012年开始与西安交大共同设立了IBM大数据分析专业,吉燕勇同时也兼任着该系的主任一职。

  近两年IBM的技术方向变化比较快,重点往认知计算、云平台方向发展。因此在2016年IBM把负责云端开发的部门独立出来,吉燕勇负责所有大数据以及分析的云端开发工作。目前,吉燕勇主要负责实现云上的大数据分析能力,而他所在的团队也负责为IBM全球用户提供云数据服务运维支持,实现不宕机保障。

  吉燕勇表示,IBM希望打造的云数据服务平台,首先要把IBM所有数据管理与分析技术能力整合进来,然后这些能力相互配合形成整体服务,再以云服务的方式对外输出。IBM还准备加速研发,在数据科学以及机器学习等方面加强投入,让云数据服务平台更加完善。

  IBM Cloud Data Services云数据服务落地中国,也是由吉燕勇的团队牵头负责。吉燕勇表示,IBM需要适应并遵从中国相关的数据安全法规,在此基础上加速Cloud Data Services相关服务的落地,同时加大与本地企业的合作力度,尽快解决落地过程中遇到的各种问题,不断推动服务落地的进程。

  吉燕勇强调,中国市场发展非常快,很多地方是跳跃式发展,在大数据方面也是如此。随着IBM Cloud Data Services云数据服务的推出,把大数据以云服务的方式提供给企业、开发者和最终用户,只需要在线订阅云服务即可,而无需安装复杂的基础设施和管理软件,这做到了数据分析随需应变,也符合中国市场跳跃式发展的特点。

  随着企业和用户切实用上大数据,真正发挥大数据的价值,大数据时代就真的到来了。(文/宁川,《云科技时代》微信号:CloudTechTime)

时间: 2024-10-03 22:40:38

当不再炒作大数据的时候,大数据时代就真的来了的相关文章

论大数据的十大局限

“忽如一夜春风来,千树万树梨花开”,似乎在一夜之间,大数据就红遍了南北半球,,大数据被神化得无处不在,无所不包,无所不能.这里面有认识上的原因,也有故意忽悠的成份.笔者以为,越是在热得发烫的时候,越是需要有人在旁边吹吹冷风.在这里谈大数据的十大局限性,并非要否定其价值.相反,只有我们充分认识了大数据的特点和优劣势,才能更加有效地对其进行采集.加工.应用,充分挖掘和发挥其价值.         1.数据噪声:与生俱来的不和谐 大数据之所以为大数据,首先是因为其数据体量巨大.然而,在这海量的数据中,

大数据莫成“大错误”

大数据时代已经来临,但大数据并非无所不能.其核心不在规模大,它蕴含的是计算和思维方式的转变,过于乐观和简单的理解,都可能助长“大数据迷信” 得益于移动互联网以及智能手机.智能穿戴产品的发展,人们的行为.位置甚至身体的生理特征等数据都可以便捷地被记录,使得大数据的采集成为可能. 这一新的数据形态产生的价值,比如神奇的趋势预测能力被公众广泛讨论,成为不少商家宣传营销的卖点.从汽车.化妆品到体育,似乎所有行业都可以借助大数据,精确定位.找到消费者,预测趋势.赢得未来. 在支持者看来,大数据的能耐在于每

大数据落地的大挑战,明略数据在老环境中寻找新路径

"大数据"一词进入了十九大报告中,报告提出要"推动互联网.大数据.人工智能和实体经济深度融合".换句话说,就是要把大数据这样的先进技术,落地到实际的行业应用和业务场景中,对实体经济发挥真正的作用,创造实在的价值. 从2015年起,"大数据"一词就被移出了Gartner的新兴技术炒作曲线.然而,据有关统计,截至2017年8月初,我国大数据领域有183家企业获得融资,其中A轮81家.天使轮51家,也就是72%的大数据企业仍处于创业初期,商业模式仍有待

打通感知与认知,明略数据还要做大数据知识工程

(上图为明略数据创始人吴明辉) 作为国内行业知识图谱领域的创新公司,明略数据在2018年4月进入了IDC的<中国知识图谱市场,2018>创新者研究报告,成为IDC评选出的5家中国知识图谱技术应用市场创新者.2017年8月,明略数据经过3年实践沉淀以及8年大数据技术积累,首次发布了基于知识图谱的行业人工智能大脑-明智系统1.0. 2018年9月7日,明略数据举办了2018年度产品发布会,即"行业AI大脑明智系统2.0",这是对1.0版本的产品技术体系全面升级.明智系统2.0在

大数据的十大来源及其应用价值

当你开车路过一家餐厅的停车场时,你的手机屏幕上弹出了这家餐厅的当日特价菜品推荐,这种体验是不是很棒?如果×××老板把发牌人忘记付给你的20美元亲自送还给你,你的心里是不是有点儿小激动?如果在线视频游戏能够把和我们玩法相近的用户即刻告知我们,这世界会不会变得很美妙?你是不是要下调汽车保险费率?大数据能让这一切变成现实. 网络数据即使不是最原始的大数据源,也是使用最广泛.认可度最高的大数据源.除此之外,还有很多大数据源,它们都有各自的使用价值.其中一些广为人知,而另一些几乎没有名气.我们在此要借用本

sql查询未走索引问题分析之查询数据量过大

前因: 客户咨询,有一个业务sql(代表经常被执行且重要),全表扫描在系统占用资源很高(通过ash报告查询得到信息) 思路: 1.找到sql_text,sql_id 2.查看执行计划 3.查询sql涉及对象的对象数据量,段大小,行数量,where条件列,是否存在索引,列的选择读情况如何 4.总结,优化整改 1.找到sql_text,sql_id 094cmrxrahdy2 SELECT 8~10个列名称(由于设计用户信息,因此部分信息不再详细说明) FROM Prescription WHERE

大数据数据仓库-基于大数据体系构建数据仓库(Hive,Flume,Kafka,Azkaban,Oozie,SparkSQL)

背景 接着上个文章数据仓库简述,想写一篇数据仓库常用模型的文章,但是自己对数据仓库模型的理解程度和建设架构并没有下面这个技术专家理解的深刻,并且自己去组织语言,可能会有不准确的地方,怕影响大家对数据仓库建模的理解,数据仓库属于一个工程学科,在设计上要体验出工程严谨性,所以这次向大家推荐这篇文章,毕竟IBM在数据仓库和数据集市方面已经做得很成熟了,已经有成型的商业数据仓库组件,这篇文章写的很好,可以让大家很好的理解数据仓库. 版权 作者 周三保([email protected]) IBM 软件部

2019年大数据的10大发展趋势

如今,人们寻求获得更多的数据有着充分的理由,因为数据分析推动了数字创新.然而,将这些庞大的数据集转化为可操作的洞察力仍然是一个难题.而那些获得应对强大数据挑战的解决方案的组织将能够更好地从数字创新的成果中获得经济利益. 考虑到这个基本前提,以下是组织在2019年应该关注的大数据的10个发展趋势: 1.数据管理仍然很难 大数据分析有着相当明确的重要思想:找到隐藏在大量数据中的信息模式,训练机器学习模型以发现这些模式,并将这些模型实施到生产中以自动对其进行操作.需要清理数据,并在必要时进行重复. 然

WCF入门(一)--Request Entity Too large 传输的数据量过大

通过WCF进行数据的查询或者添加的时候,如果数据量过大,一般会报出如下的错误: 1.已超过传入消息(65536)的最大消息大小配额.若要增加配额,请使用相应绑定元素上的MaxReceivedMessageSize 属性. 2.远程服务器返回了意外反应(413)Request Entity too large. 3.远程服务器返回了意外反应(400)Bad Request. 具体的解决方案: 服务端返回数据给客户端报错 在客户端的配置文件中,主要修改maxReceivedMessageSize <