传统数据与大数据

作者:萝卜(微信:Robbie_Qi)

“问世间,大数据为何物,直教人众说纷纭”。一本《Big Data》的书,掀起了大数据的浪潮,不管是IT人士,还是媒体精英,都在议论大数据,春运大数据、出游大数据、美食大数据、阅读大数据……,那么,大数据到底是什么呢?难道量大、数大就是大数据吗?如果是这样,大数据就是炒旧饭了,殊不知电信领域无论从数量规模,还是从数据值在多年前就可以说是大数据了。

现在很多人都用4V来定义大数据,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值),但我认为这个定义并不足以将大数据与传统数据区分开来,比如,电信的话单数据,就具备了上面的4个特征,而你会认为这是大数据吗?也许是吧。我现在理解的大数据,主要是针对传统数据仓库而言,传统数据仓库解决了企业内部数据孤岛的问题,而大数据则是要将企业内部数据和企业外部数据打通,从而依据全面、综合的信息进行科学决策管理

首先,走向大数据是企业信息化的必然趋势。企业信息化解决了业务流程计算机化的问题,提高了工作效率,但要想实现科学决策,除了业务本身的信息外,还要参考更多的外部客观影响因素,如宏观政策、市场动态、竞争对手等,这些信息必须从企业外部去获取,原来的BI或数据仓库着重解决的是打通企业内部的数据孤岛,整合内部数据,但并没有将企业外部数据考虑进来,这就造成了决策的“盲区”,而大数据强调的正是“打通企业内部和企业外部的数据”,鼓励企业尽其所能去收集和整合企业外部的数据,如社交媒体、监控数据等,从这些数据中提炼出有价值的知识,与企业内部的整合起来,实现科学合理的管理决策。一个简单的例子,若要实现热播影视剧的推荐,只使用企业内部的点播数据,则不一定能在第一时间发现正在热播的《武媚娘》,而从微博、朋友圈等数据中,则可以在较早期就发现流行趋势并进行推荐。

其次,大数据的价值密度低,需要花费较大的成本去提炼。当前企业的数据主要是来源于信息系统,用于支撑企业的经营管理,以结构化数据为主。若把数据比做一座金山,那么,信息系统产生的数据就是“一粒粒的金沙”,其价值密度非常高,这是由于信息系统中每一个信息项都是经过反复斟酌之后才添加进去,新增一个信息项的研发和实施成本都很高,包含了大量的“干货”内容。而大数据中所强调的企业外部数据,主要有机器产生的数据和人自己产生的数据,前者一般是监控数据,后者包括微博、聊天等,数据中所含的杂质较多,必须使用相应的统计算法去掉噪声以提炼出有用的知识,这些算法一般是专业的统计算法,如回归、聚集、分类等。此外,大数据正如其名所言,数据的规模一般都很大,产生的速度较快,需要的硬件资源和处理成本都较传统的企业管理信息要高,所以需要企业根据实际情况选择性的进行收集和使用。

最后,大数据的价值发挥,依赖于合适的使用场景。虽然大数据中蕴藏着巨大的商业价值,但其价值的发挥,要与企业自身的业务特点巧妙的结合起来才可以,而这恰恰是大数据现阶段所缺少的。现阶段对于大数据使用的探讨,还处于非常初级的阶段,有些号称大数据的案例,实际就是传统的企业信息化,与大数据并不搭边,有些令人眼前一亮的案例,又缺少复制推广的条件,例如,沃尔玛根据卖场周边社交媒体的数据,提炼出正在热销的商品,从而及时调整卖场的库存和货架;又例如,Direct TV的呼叫中心将客户通话内容记录成文本,通过分析文本关键词分析问题,从而避免原来通过固定列表填写呼叫内容时,字典数据维护不及时带来的填写不准确问题。这两个应用大数据的案例确实很巧妙,但对其它企业只能起到借鉴和启发的作用。现在对于大数据,我们缺少一个将大数据直接转化为商业模式的方法体系,比如,说到企业信息化,就等同于将业务流程计算机化;提到BI,就是将各业务系统的数据整合起来;而提到大数据,我们能做什么呢?

以上是我对大数据的一点思考。

2015年2月10日于北京

时间: 2024-08-03 15:26:33

传统数据与大数据的相关文章

引跑科技助力传统企业构建大数据价值体系

2015年8月11日,在工信部信息化推进司指导下,由国家两化融合创新推进联盟主办的第二届<云计算应用创新推进大会>在北京西苑酒店成功召开.大会将以"推进产业互联.探索工业4.0发展道路"为主题,深度探讨企业"云化"过程面临的挑战与问题,寻求最佳技术解决方案和实施路线,推进"企业云"建设,实现企业信息化的全面升级. 本次会议上共计有超过10多家的国有大中型企业及IT服务和供应商分享在云计算.大数据领域的实践和应用成果. 国家两化联盟,全

【网络大数据】大数据时代:网络营销能否颠覆传统?

大数据分析_大数据技术_大数据处理_云计算数据中心 网络大数据(www.raincent.com)整合了大数据分析,大数据处理,大数据技术,云计算数据等服务为一体,力争打造国内数一数二的网络数据处理平台. 众所周知,构成世界的三大要素为物质,能源和信息.由于互联网的迅猛发展,一场人类历史上从未有过的庞大商业变革正发生在我们面前,那就是网络营销+大数据时代. 千思传媒根据美国马萨诸塞州的EMC公司的调查报告表明,2011年全球被创建和被复制的数字总量是1.8ZB,相当于两千多亿个时长为两小时的视频

(上)挖掘传统行业日志大数据的无限价值

?? 8 月 27 日晚上八点,七牛云高级解决方案架构师程雪松在 IT 大咖说进行了题为<挖掘传统行业日志大数据的无限价值>的直播,对传统行业运维常见困境和统一日志管理的必要性进行了深入解析,并通过 Pandora 的一些真实用户案例和大家详细阐述了如何挖掘传统行业日志大数据的无限价值.? 本文是对直播内容的整理,共分为上下两篇,上篇主要介绍传统行业运维常见困境和统一日志管理的必要性,以及日志分析几个典型场景. ? 什么是运维 ? 首先我们谈一谈什么是运维.?????很多人对运维有自己的理解,

蔡先生论道大数据之一 , 大数据由来

我记得早在2001年,Gartner公司的一份研究报告首次出现"大数据(Big Data)"概念的提法.但是到今天业内对"大数据"一词的定义说法不一,但越来越多的研究机构和网络媒体开始关注它.大数据正成为继云计算之后新的热词.同云计算一样,大数据虽然也看不见摸不到,却与今天的IT技术发展如影随形,已经深入到当前的信息生产.加工.交换过程之中,我们已经享受到的某些信息服务,如在社交网站看到的是自己想关注甚至是感兴趣的广告而看不到不想关注的广告,这其实是大数据技术的功劳

究竟多大才算是大数据,大数据怎么学习?

大数据,什么是大数据呢?多大的数据叫大数据?红火一时的数据分析走向了我们,纷纷称不分析数据企业将长久不了,可是究竟什么样的数据才是大数据呢,什么样的数据才是最大的呢? 如果你没有接触过大数据,那么你就不知道大数据究竟有多大,大到什么样的数据才能称之为大数据.那么,根据数据收集的端口,企业端与个人端之间,大数据的数量级别是不同的. 大数据开发学习有一定难度,零基础入门首先要学习Java语言打基础,一般而言,Java学习SE.EE,需要约3个月的时间:然后进入大数据技术体系的学习,主要学习Hadoo

【大数据】大数据时代--网络数据与科学的时代

大数据_大数据时代_大数据概念_网络大数据 随着大数据时代的来临,大数据也吸引了越来越多的关注.网络大数据(http://www.raincent.com)整合了大数据,大数据概念,大数据处理,大数据分析,cdn,cdn加速,idc,网络测量,网络监测,网络安全测量,网站性能监测,行业分析报告,行业研究报告,免费行业报告等服务为一体,力争打造中国最大的网络大数据中心. 这两个词最早出现是在上世纪90年代.按照当时的解释,大科学时代主要是指单打独斗的时代结束了,要搞集团军式的科研.也有一种说法是,

10种令人吃惊的方式你的日常生活中正在收集数据的大数据野兽

10种令人吃惊的方式你的日常生活中正在收集数据的大数据野兽 原文:http://www.bloomberg.com/slideshow/2014-06-03/10-surprising-ways-your-daily-life-is-feeding-the-big-data-beast.html 无处可逃 大数据是你日常生活中,无论你喜欢与否的重要组成部分 - 甚至是意识到这一点. 当你去看医生.去到你的手机上工作或获得方向,有一个非常好的机会,有软件在那里悄悄地收集和分析这些信息. 并依据不同

【网络大数据】大数据时代:数据融合或将发挥更大价值

大数据_大数据时代_大数据概念_网络大数据 随着大数据时代的来临,大数据也吸引了越来越多的关注.网络大数据(http://www.raincent.com)整合了大数据,大数据概念,大数据处理,大数据分析,cdn,cdn加速,idc,网络测量,网络监测,网络安全测量,网站性能监测,行业分析报告,行业研究报告,免费行业报告等服务为一体,力争打造中国最大的网络大数据中心. 随着互联网技术的发展.全媒体环境的全面形成,"大数据"已成为新的时代主题词.海量级的数据催生了海量的搜集.存储.管理.

10种令人惊讶的方式你的日常生活中正在收集数据的大数据野兽

10种令人惊讶的方式你的日常生活中正在收集数据的大数据野兽 原文:http://www.bloomberg.com/slideshow/2014-06-03/10-surprising-ways-your-daily-life-is-feeding-the-big-data-beast.html 无处可逃 大数据是你日常生活中,不管你喜欢与否的重要组成部分 - 甚至是意识到这一点. 当你去看医生,去到你的手机上工作或获得方向,有一个很好的机会,有软件在那里悄悄地收集和分析这些信息.并根据不同的情

北风网 零基础到数据(大数据)分析专家-首席分析师

详情请交流  QQ  709639943 00.北风网 零基础到数据(大数据)分析专家-首席分析师 00.快速上手JMeter 00.Jmeter 00.2017年Java web开发工程师成长之路 00.R语言速成实战 00.R语言数据分析实战 00.Python+Django+Ansible Playbook自动化运维项目实战 00.Java深入微服务原理改造房产销售平台 00.Python3入门机器学习 经典算法与应用 00.老司机学python篇:第一季(基础速过.机器学习入门) 00.