认识“快数据”

互联网业务和技术的发展迎来了信息革命新的高潮,所带来的除了更加高效的生产和消费模式外,还带来数据的爆炸式增长。移动互联网和物联网浪潮下的数据规模与产生速度更是前所未有地加快,相应产生的数据存储、处理、分析、展示的技术与工具也层出不穷。传统企业已经具备对现有系统流程和数据比较成熟的生产和获取方式,然而如何对曾经被忽视和丢弃的数据,利用分布式、基于内存等新型技术,同时整合企业现有数据和分析结果来实现业务创新和增强,是急需解决的问题。

大数据的初始阶段,价值往往呈现出稀疏的特点,企业常常需要“沙里淘金”。在当今时代,存储海量数据的成本虽然已经降低,但从海量数据中获取价值却是昂贵的,而要及时获取价值则更加昂贵。因此,越来越多的企业选择构建大数据实时计算框架,以期从中获得实时的数据洞见,“快数据”的概念也因此应运而生。

什么是快数据?

大数据的概念本身比较抽象,一个比较有代表性的是 4V 定义,即认为大数据需满足 4个特点:规模性(Volume)、 多样性(Variety)、高速性(Velocity) 和价值性 (Value)。而快数据则是为了实现高速性(Velocity) 而产生的。“快”来自一些众所周知的法则:时间就是金钱,数据的价值也具有时效性,数据的价值随着时间折旧越快。下表给出了不同业务处理数据快慢的比较。

从数据分析的技术实现视角分析,目前的大数据处理可以分为如下三个类型:

  • 复杂的批量数据处理(batch processing),常见的实现框架如Hadoop/Mapreduce,数据处理的时间跨度在数十分钟到数小时之间。
  • 增强的历史数据的交互式查询(inter-active query),常见的实现框架如Dremel/Impala,数据处理的时间跨度在数十秒到数分钟之间。
  • 基于实时事件数据流的数据处理(event streaming processing),常见的实现框架如Oracle CEP、Strom。数据处理的时间跨度在数百毫秒到数秒之间。

以上的三种方式,最符合快数据定义的是第三种。基于实时事件数据流的数据处理不光是能够提供更快的数据处理效率,而是采用了一种完全不同于离线批处理的模式。这两种处理模式,批处理(Batch Processing)是先存储后处理(Store-then-process),而流处理则是直接 处理(Straight-through processing)。这两种处理模式相辅相成,在企业构建大数据处理框架时都非常重要。一些成熟的企业在处理数据时,会把数据处理服务分成几层。一方面是重要程度,一方面是处理时效要求,比如“快数据紧急”、“快数据不紧急”和“慢数据重要”等。快数据从本质上意味着数据处理接近实时决策的能力,改善业务决策所花费的时间,流处理模式则给系统业务创新带来了更多的想象空间和创新空间。

快数据有怎样的应用场景?

人类社会的数据产生方式大致经历了3个阶段,正是数据产生方式的巨大变化才最终导致大数据的产生:

1、运营式系统阶段。数据的产生大都为运营系统产生,数据也大都是运营相关的数据。这种数据的产生特点是被动的。

2、用户创造内容阶段。互联网的发展尤其是电子商务和Web2.0的发展带来数据新的爆发阶段。互联网电子商务的发展产生了大量的用户行为数据,这完全不同于被动式运营系统所产生的数据。Web2.0的最重要标志就是用户原创内容(UGC, User Generated Content)。这个阶段数据的产生特点是主动的。

3、感知式系统阶段。今天我们正处于这个阶段的起点。这个阶段产生的核心原因在于移动互联网和物联网的发展兴起。随着技术的发展, 智能手机、可穿戴设备以及微小的带有处理功能的传感器日益成熟,各种原来“死”的设备,现在都能自动生成、采集数据,就连我们人类,也因为携带智能设备,每一次位置变化和设备使用都会产生大量可用于分析的数据。这种数据的产生特点是自动的。

简单来说,数据产生历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源。

快数据可以在下面四大领域帮助企业客户:

•帮助企业提升客户体验。传统的被动型系统会丢弃很多与业务存储以及统计分析无关的数据。而快数据能够有机的和传统数据以及Hadoop类型大数据进行有机的结合,帮助企业更好的建立全视角用户视图,开发出用户驱动型的产品,提供客户导向型的服务。快数据弥补了原来用单一数据库和Hadoop平台构建全视角用户视图的制肘之处。

•帮助企业优化运营。传统企业大数据分析IT运营往往缺乏把握在线营销时机的能力。在客户行为事件发生的恰当时机,以最了解客户的形式展开营销。同时,在社交媒体追踪对地点、用户和产品的提及信息,分析产品、用户、品牌之间的关联,从而优化其内部产品与服务提供的准确性,进行跟有针对性的线上和线下(O2O[注])产品推荐是传统企业最重要的运营能力创新。

•帮助企业优化资源。通过智能设备的数据采集技术,可以实现企业对所需资源的精准优化,优化资源使用效率。在企业在运营过程中,用户产品所需要的每一种资源的具体使用情况和分布等,企业都可以进行搜集分析,就如同“电子驾驶舱”一般,实现“点对点”的数据化、图像化展现。快数据让企业的管理者管理优化企业资源的方式从“T+1”进化到“T+0”,可以更直观高效地管理自己的企业。

•帮助企业拓展服务。快数据让企业将自己的服务时机与地点拓展到客户生命周期的每一个要点。企业还可以借助社交媒体中公开的海量数据,通过快数据趋势分析舆情侦听技术、分析数据内容之间的关联度等,进而面向社会化用户开展精细化服务。

如何分辨企业是否需要“快数据”?

随着大数据已经成为IT业界炙手可热的话题(+微信关注网络世界),所有企业都希望尽早部署自己的大数据战略,也希望通过“快数据”获取实时数据分析能力。然而,如何分辨企业是真的需要“快数据”还是仅需要狭义的大数据解决方案?这里甲骨文提出快数据项目三问帮企业做出正确决策:

•数据分析的结果如何反作用于应用系统?

•数据是连续不断的而且有顺序、窗口、时机等要素,是来源众多的且有不同格式,数据量大但不关心存储吗?

•是否考虑三个第一:能否在第一时间,客户的第一接触点上,作出第一反应?

如果企业可以正确认识以上问题并根据自身实际情况给出肯定的答案,那么“快数据”是企业的一个良好选择。常见的快数据处理场景包括事件驱动营销与推荐,基于位置的服务,交互式营销,客户维系挽留,风险预测与评估,性能管理,媒体侦听与响应,智能设备采集分析,金融量化交易与风险管理。

【了解更多商业智能行业资讯,商业智能解决方案以及商业智能软件下载请访问FineBI商业智能官网www.finebi.com】

时间: 2024-10-21 05:33:13

认识“快数据”的相关文章

2.10 读取打快数据文件

import sys #filename = sys.argv[1] filename=raw_input() with open(filename,'rb') as hugefile: chunksize =1000 readable='' while hugefile: start = hugefile.tell() print "starting at:", start file_block = '' for _ in xrange(start, start+chunksize)

大数据的体系

1. 存储阶段: 描述:用户信息,行为信息存储进硬盘 问题: 数据总量-大 产生速度-快 数据类别-多 2. 挖掘 清洗 筛选: 描述:根据产品需求筛选出符合企业用于盈利需求的数据) 3. 分析: 描述:通过数学分析,商业分析,将挖掘出来的数据进行产品匹配盈利分析 问题: 1.时效要求 2.实时要求 3.数据模型 4.业务领域 4.产品调整: 描述:根据分析进行产品的上下架,迭代开发,达到产品迎合更多用户的选择或者销售出更多的产品 5.产品下一步的规划: 描述:譬如新开一个产品线,可以根据数据来

100篇大数据文章[转]

摘要:PayPal高级工程总监Anil Madan写了篇大数据的文章,一共有100篇大数据的论文,涵盖大数据技术栈,全部读懂你将会是大数据的顶级高手. 开源(Open Source)用之于大数据技术,其作用有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的推动作用.另一方面,开源也给大数据技术构建了一个异常复杂的生态系统.每一天,都有一大堆"新"框架."新"类库或"新"工具,犹如雨后春笋般涌

读完这100篇论文,你也是大数据高手!

引言 PayPal高级工程总监Anil Madan写了这篇大数据的文章,一共有100篇大数据的论文,涵盖大数据技术栈,全部读懂你将会是大数据的顶级高手.当然主要是了解大数据技术的整个框架,对于我们学习大数据有莫大好处. 开 源(Open Source)用之于大数据技术,其作用有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的 推动作用.另一方面,开源也给大数据技术构建了一个异常复杂的生态系统.每一天,都有一大堆“新”框架.“新”类库或“新”

揭秘12306技术改造(三):传统框架云化迁移到内存数据平台

摘要:此篇文章列举不同类型的系统改造迁移到云平台方案,从改造思路探讨,系统框架设计和项目实施的整个迁移过程,供大家参考和交流. 注:本文首发于CSDN,转载请标明出处. [编者按]在年前的「技术揭秘12306改造」专题中,负责12306改造的技术架构师刘云程从技术的角度.用科学论证的方式说明 12306是如何实现高流量高并发的关键技术,以及深入探讨了12306两地三中心混合云架构,今天,他继续为大家带来第三篇:传统框架云化迁移到内存数据平台. 以下为正文>> 摘要 12306混合云成功案例给予

PayPal 高级工程总监:读完这 100 篇文献,就能成大数据高手

原文地址 开源(Open Source)对大数据影响,有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的推动作用:另一方面,开源也给大数据技术构建了一个异常复杂的生态系统.每一天,都有一大堆"新"框架."新"类库或"新"工具涌现,乱花渐欲"迷"人眼.为了掌控住这些"新玩意",数据分析的达人们不得不"殚精竭虑"地"学而时习之

读完这100篇论文 就能成大数据高手(附论文下载)

100 open source Big Data architecture papers for data professionals. 读完这100篇论文 就能成大数据高手 作者 白宁超 2016年4月16日13:38:49 摘要:本文基于PayPal高级工程总监Anil Madan写的大数据文章,其中涵盖100篇大数据的论文,涵盖大数据技术栈(数据存储层.键值存储.面向列的存储.流式.交互式.实时系统.工具.库等),全部读懂你将会是大数据的顶级高手.作者通过引用Anil Madan原文和CS

hadoop大数据平台架构之DKhadoop详解

hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战.Hadoop作为一个开源的分布式并行处理平台,以其高拓展.高效率.高可靠等优点越来越受到欢迎.这同时也带动了hadoop商业版的发行.这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容.目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等.虽然发行方不同,但在平台架构上相似,这里就以我比较熟悉的dkhadoo

BI数据可视化工具软件系统开发

信息时代,随着各个企业数据不断增多,面对庞大的数据不能够真正有效的利用起来,是企业的一大损失.主要原因是数据繁杂,没有办法快速甄别有用的信息,无法从海量的信息中提取.分析.而BI数据可视化分析系统就是为了解决这个痛点而诞生的. BI数据可视化工具软件系统可以有效解决海量数据整理分析,并用可视化直观的方式展现.让管理人员清晰明了的知道这些数据分析出的结果.让决策者更加了解企业具体运作信息.研究表明,人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多,因此通过可视化方式帮助用户改变传统的