做大数据时代的“淘宝”平台,IBM数据分析战略浮出水面

(上图为IBM研究人员在展示通过数据分析提高城市交通水平)

下个世纪是大数据的世纪,是从IT走向认知计算的时代。在IT时代成就了一家超级平台,这就是淘宝,而认知时代要做的是数据的生意,那是否有一个类似淘宝的超级数据平台呢?IBM正在做这件事情。

IBM在全球布局了40多个基于Softlayer的数据中心,以Bluemix作为其主力云端开发平台, 在之上通过合作和收购网罗了从Twitter到The Weather Company以及这些年投入250亿美金收购的Cognos、SPSS、ILOG、Algo等诸多顶尖分析公司,再加上Compose 所囊括的业界7大开源数据库等,以期搭建一个“淘宝”式超级数据平台。

2016年3月底,IBM向中国市场披露了其数据分析战略——由多个专有及开源数据库、多种大数据及商业分析算法以及多种数据源接入的“淘宝式”超级平台,再通过优化的后台管理、运维和用户体验,为上至专业开发者下至普通小白用户,提供各类数据服务。

跨越数据管理鸿沟

大数据时代的核心价值是数据分析,这个已经成为共识。但数据分析需要有数据,有数据就需要有数据库和数据库管理服务。

那么,现在一共有多少种数据库产品?由澳大利亚IT咨询公司solid IT创建的数据库知识网DB-Engines,就监控了全球260多种流行的数据库产品,其中包括商用数据库产品以及开源数据库产品,涵盖关系型和非关系型数据数据库。

面对这么庞大的数据库产品及服务,即便是专业开发者也要忘而兴叹了。特别是当数据库与云服务结合形成了云数据服务,即在混合云环境中部署数据库及数据分析服务,除了核心数据库管理外,还涉及到跨云的数据存储、迁移、热备、整合等复杂的云管理技术。

异构数据、异构数据库、异构云环境,这就成为了现代企业面临的数据管理鸿沟。对于IBM等企业级IT服务商来说,如何帮助企业跨越数据管理鸿沟,就成了绕不开的问题。于是就出现了IBM过去几年大力收购数据及数据库管理公司的现象。

大数据“淘宝”商城

IBM的数据分析战略包括了数据分析服务、云数据服务、数据集成服务、数据治理服务、数据集市、跨云的数据连接、混合云管理及云存储服务、行业解决方案和开发者服务等在内的完整链条,这些构成了IBM在大数据时代的“淘宝”商城。

在这个大数据“淘宝”商城中,最重要的“宝贝”就是云数据服务(提供DBaaS数据库即服务),即各种流行数据库的云化、集成、优化与管理。这是什么意思呢?以IBM收购的Compose为例,2015年7月IBM收购了开源数据库管理公司Compose。Compose是一家能为企业用户管理MongoDB、PostgreSQL、Elasticsearch、Redis、RethinkDB、etcd、RabbitMQ等七种最流行开源数据库的服务商。

Compose为用户提供的增值服务包括:由专家负责的24x7全天候数据库监控与管理、数据库的容器化及部署、不间断和无故障的数据库服务、不同数据库之间的数据迁移等。目前,Compose已经为数千家企业用户创建和管理了超过十万个数据库。

而早在2011年IBM就已经推出于基于Apache Hadoop的大数据分析服务商用版InfoSphere BigInsights和InfoSphere Streams。2015年,IBM进一步强化了实时数据分析,通过Apache Spark重新设计了超过15个核心分析与商务解决方案,例如基于Spark技术把数据准备和优化服务IBM DataWorks的代码库从4,000万行代码压缩至500万行。IBM还推出了基于Bluemix平台的Spark-as-a-Service服务。

IBM在2014年收购的Cloudant更是大名鼎鼎,这家创业公司的产品是基于开源CouchDB架构的托管数据库。Cloudant的强项在于永不宕机、动态扩容以及分布式异地多活存储,特别适合电商、在线游戏、金融支付等应用场景。

当然IBM自有的数据库和数据仓库产品,包括经典的DB2数据库、DB2 BLU(内存列存储加速)、dashDB(内存列存储数据仓库)、Informix(TimeSeries)等,都拥有大批的传统企业用户,这些产品经过云化后也成为IBM云数据服务的一部分。

目前,IBM提供了25种专有及开源数据库的云数据服务。IBM大中华区副总裁、大数据与分析事业部总经理丁少忠表示,IBM云数据服务的核心竞争力在于拥有这些数据库的源码,在源码级为用户提供管理服务(Managed Service),这极大降低了企业IT和开发者的负担。

除了这25种数据库即服务外,IBM还在2016年初推出了云化的中间件WebSphere Connect,其中包括了DataWorks、API Connect、APP Connect等组件,进一步扩展了IBM连接更多数据及云服务的能力。

引入预测分析和更多数据源

在IBM的数据分析战略中,云数据服务是用户当前马上就可以用到的服务,而面向未来的预测性数据分析才是IBM真正希望带来更高商业价值的服务。

目前IBM的预测性数据分析服务包括了Watson Analytics以及SPSS for Machine Learning两大类。其中,基于认知计算的Watson Analytics,以自然语言交互和可视化分析界面,把机器学习和预测性数据分析的门槛降低到了最低。

普通人没有经过专业训练,也能用Watson Analytics完成商业预测分析。市场营销、HR专员、金融分析等能简单直接地用Watson Analytics实现高级认知分析,比如直接向Watson Analytics提问后,Watson Analytics能采集、提取、精简数据,并从中发现趋势、预测成果、执行可视化分析、创建报告或仪表板等,而且整个过程都可以用自然语言交互。

Watson Analytics分为免费版、个人版和企业版,其中的免费版就已经能提供丰富的功能了。Watson Analytics在全球已有超过一百万注册用户,在大中华区刚刚推出就获得了近2万个注册用户。

SPSS for Machine Learning则是基于经典的统计分析软件SPSS。2009年,IBM以12亿美元收购了SPSS公司,随后又扩充了统计学分析运算、数据挖掘、预测分析和决策支持任务等丰富的功能。有着40多年历史的SPSS,是目前应用最广泛的数据挖掘预测工具。

除了向中国引进Watson Analytics和SPSS for Machine Learning外,IBM还引入了超过150种公共和免费数据源构成的信息库,其中包括了刚收购的The Weather Company。作为美国第四大使用最频繁的App,Weather公司每天处理高达260亿条云服务查询,是IBM数据服务和Watson物联网业务的支柱。

借助Weather公司的平台,IBM现在可以收集来自世界各地数十亿个物联网传感器的数据,这些数据来自于汽车和飞机远程信息处理系统、建筑和环境传感器、可穿戴的设备、医用植入物、气象站、智能手机、社交媒体、制造生产线和供应链等。接下来,IBM在中国市场将率先推出针对航空公司、媒体、手机厂商等多个领域的服务与合作。

继发力认知商业和认知计算后,IBM的大数据与分析业务也将在中国市场逐一落地,为中国的企业、开发者以及软件开发商等,搭起一个面向认知商业时代的“淘宝”式超级数据平台。有了这个超级数据平台,物联网、智慧城市、智能制造等新经济、新业务形态才能真正发展起来。(文/宁川,本文首发钛媒体、ITValue )

更多精彩内容 尽在《云科技时代》微信 微信号:CloudTechTime】

时间: 2024-12-24 18:58:26

做大数据时代的“淘宝”平台,IBM数据分析战略浮出水面的相关文章

大数据时代需要新安全分析平台-转载

毫无疑问,我们已经进入了大数据时代.人类的生产生活每天都在产生大量的数据,并且产生的速度越来越快.根据IDC和EMC的联合调查,到2020年全球数据总量将达40ZB.当前,网络与信息安全领域的安全数据同样具备大数据的特征,包括数据量越来越大.速度越来越快.种类越来越多. 安全数据的数量.速度.种类的迅速膨胀,导致的不仅仅是海量异构数据的融合.存储和管理的问题,甚至动摇了传统的安全分析体系和方法. 当前绝大多数安全分析工具和方法都是针对小数据量设计的,在面对大数据量时难以为继.新的攻击手段层出不穷

上海远丰:大数据时代 电商如何做好运营数据分析

2015年深圳互联网领袖论坛上,马云阐述了“DT时代”概念,提出我们已经从IT时代进入了数据时代,数据让一切变得透明.直观.大数据时代,依托于电子商务快速发展,数据分析已成为企业在电商混战中脱颖而出的关键.但很多企业意识到网站数据分析的重要性,往往却不知道怎么办. 互联网时代,用户习惯正在发生变革,只有充分了解用户才能打造符合用户预期的产品.电子商务相对于传统零售业来说,最大的优势在于一切都可以通过数据化来监控和改进.通过数据可以看到用户从哪里来.如何组织产品可以实现很好的转化率.投放广告的效率

【互动问答分享】第3期决胜云计算大数据时代Spark亚太研究院公益大讲堂

决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第3期互动问答分享] Q1: groupbykey是排好序的吗?分组排序 怎么实现? groupByKey在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集,所以是没有排序的: 要想分组排序,首先要使用groupByKey完成分组功能,然后使用sortWith这个函数对指完成排序实现: 完整代码如下所示: spark.textFile(...).groupByKey().map{p => val 

大数据时代下是数据思维重要,还是相应技术重要?

技术做到一定程度,逐步发现自己的瓶颈.不由得开始思考这一方面的问题!到底大数据时代下,是相应的数据分析技术重要,还是相应数据思维重要? 先来说数据思维吧!什么是大数据思维,个人感觉应该是互联网思维的一种.是考虑到全面,而不是局部.是考虑到多维,而不是单一维度.不是靠拍脑门做决定,而是让数据说话,用数据做决策. 先说第一点,考虑全面,而不是局部.众所周知,移动互联网催生了大数据的产生.每一个人每一天通过手机能够的数据总和会是一个巨大的量.而通过这些非结构化的数据,我们首先面对的是如何处理这些数据,

马云:大数据时代_最重要的是做最好的自己

原文链接 摘要: 做个二十名的人其实蛮好的.大数据时代,最重要的是让每个人做最好的自己. 6月29日上午,天津"世界智能大会"现场,马云作了万字演讲,以下是马云演讲整理: 我今天不是为不同而不同,我觉得进入数据时代,一个很重要的事,每个人对每个问题的看法.角度.深度和广度必须是不一样的,只有不一样,你才是你. 做个二十名的人其实蛮好的.大数据时代,最重要的是让每个人做最好的自己. 6月29日上午,天津"世界智能大会"现场,马云作了万字演讲,以下是马云演讲整理: 我今

监所安防平台如何迎接大数据时代

大数据时代已经到来,从谷歌利用大数据来分析猪流感的疫情到阿里巴巴利用大数据来分析一个人的信用资质.在安防领域,大数据也不再是一个陌生的新名词, 例如在海康威视参与建设的长沙.贵阳等诸多成功的平安城市建设案例中,涉及的数据已经是PB级别,这些大数据对平台在快速调取.精确定位.智能分析等方面 有着诸多要求.相比平安城市.智慧城市等项目,监所类安防系统的建设中,对大数据的关注也逐渐在提高.那么,监所类方案平台在大数据处理方面面临着哪些需 求呢? 一.监所安防平台面临的大数据 在一般意义的监所安防平台上

大数据时代新闻采编人员职业能力培训

原文  http://datameng.com/info/2014/03/big-data-xinwen-caibian/ 据统计,到2013年,全世界储存的信息如果记录在光盘上,再把这些光盘叠加起来,高度等于从地球到月球的距离.美国互联网数据中心指出,目前世界 上90%以上的数据是近几年才产生的.互联网上的数据每年将增加50%,每两年翻一番.因此有学者认为,人类进入了大数据时代.一般意义上,大数据是指无 法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知.获取.管理.处理和服务的数据集合

【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第8期互动问答分享] Q1:spark线上用什么版本好? 建议从最低使用的Spark 1.0.0版本,Spark在1.0.0开始核心API已经稳定: 从功能的角度考虑使用最新版本的Spark 1.0.2也是非常好的,Spark 1.0.2在Spark 1.0.1的基础上做了非常多的改进: Spark 1.0.2改进参考 http://spark.apache.org/releases/spark-release-1-0-2.ht

大数据四大常识,不会你敢说自己在做大数据?

一.大数据分析的五个基本方面 1.可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了. 2.数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值.另外