大数据莫成“大错误”

  大数据时代已经来临,但大数据并非无所不能。其核心不在规模大,它蕴含的是计算和思维方式的转变,过于乐观和简单的理解,都可能助长“大数据迷信”

  得益于移动互联网以及智能手机、智能穿戴产品的发展,人们的行为、位置甚至身体的生理特征等数据都可以便捷地被记录,使得大数据的采集成为可能。

  这一新的数据形态产生的价值,比如神奇的趋势预测能力被公众广泛讨论,成为不少商家宣传营销的卖点。从汽车、化妆品到体育,似乎所有行业都可以借助大数据,精确定位、找到消费者,预测趋势、赢得未来。

  在支持者看来,大数据的能耐在于每一个数据点都可以被捕捉到。分析大数据就能推导出惊人准确的结果,经典的抽样统计方法面临淘汰。同时,数据已经大到能够自己说话,“数据背后的原因不再重要,人们只需要知道数据之间有统计相关性就行”,理论可能就此终结。

  毋庸置疑,规模更大、更新更快的大数据拥有深刻的洞察力,也将带来价值,但认为有了大数据就无所不能,却过于乐观和简单。

  首先,几百年的统计学发展史已经告诉我们,通过统计数据来认知现实世界从来都不能尽善尽美,现实中存在的样本误差和偏差等种种“陷阱”,不是单单依靠更大、更新、更快的数据就可以解决。

  其次,大数据价值密度低、内容混杂,找到“货真价实”的信息已属不易。而“知其然,不求知其所以然”,只考虑纯粹相关性,不注重数据与结论之间 因果关系的分析方法,在现实中往往经不起推敲。比如,理论上可以通过分析微博上的每一次发言,推断出某一事件引发的公共情绪,但不可忽视的是,微博活跃用 户只能代表他们自己,并不代表更广泛的群体。

  尤其不能忽视的是,目前许多数据仍处于“孤岛”状态,单一或少数领域的大数据不仅价值有限,还存在片面性的危险。只有数据跨越了行业领域间的界 限,关联性加强时,数据的准确性才会提高。打通数据“孤岛”,融合数据还要走很长的路。另外,数据的收集、存储和搬运虽然越来越便利,但从技术上看,如何 从海量数据中淘出有价值的信息,还缺少强大的工具。

  毫无疑问,大数据时代已经来临,但大数据并非无所不能。大数据的核心不在规模大,它蕴含的是计算和思维方式的转变,过于乐观和简单的理解,都可 能助长“大数据迷信”。比较切实的态度或许是,在尊重传统的统计经验基础上,在不矮化大数据是“旧瓶装新酒”的同时,不迷信大数据,善用大数据。否则,带 着“数据自己可以说出结论”的谬识,就可能掉进了数据的“陷阱”,从而使大数据产生“大错误”。

时间: 2024-10-09 09:23:28

大数据莫成“大错误”的相关文章

未来最好的大学专业,非大数据莫属!

随着大数据行业的政策扶持与技术手段的不断更新,目前中国企业大数据市场已迈入快速发展时期. 与此同时大数据应用领域广,成长性高,人才缺口大,薪资待遇好,这也推动了大数据成为大学新增专业之一,在我国已有北京大学,清华大学,复旦大学,中南大学等成为"数据科学与大数据技术"首批申请成功的高校.未来,可以称之为大数据时代. 那么何为大数据呢?简而言之,大数据的定义,指无法在可承受的时间范围内用常规软件工具进行捕捉.管理和处理的数据集合.本质上也就是通过海量数据的挖掘,以此来消除未来的不确定性.

论大数据的十大局限

“忽如一夜春风来,千树万树梨花开”,似乎在一夜之间,大数据就红遍了南北半球,,大数据被神化得无处不在,无所不包,无所不能.这里面有认识上的原因,也有故意忽悠的成份.笔者以为,越是在热得发烫的时候,越是需要有人在旁边吹吹冷风.在这里谈大数据的十大局限性,并非要否定其价值.相反,只有我们充分认识了大数据的特点和优劣势,才能更加有效地对其进行采集.加工.应用,充分挖掘和发挥其价值.         1.数据噪声:与生俱来的不和谐 大数据之所以为大数据,首先是因为其数据体量巨大.然而,在这海量的数据中,

大数据营销十大切入点

许多人感觉到大数据时代正在到来,但往往只是一种朦胧的感觉,对于其真正对营销带来的威力可以用一个时髦的词来形容——不明觉厉.实际上,还是应尽量弄明白,才会明白其厉害之处.对于多数企业而言,大数据营销的主要价值源于以下几个方面. 第一,用户行为与特征分析.显然,只要积累足够的用户数据,就能分析出用户的喜好与购买习惯,甚至做到“比用户更了解用户自己”.有了这一点, 才是许多大数据营销的前提与出发点.无论如何,那些过去将“一切以客户为中心”作为口号的企业可以想想,过去你们真的能及时全面地了解客户的需求与

史上最全解析!大数据在十大行业的应用

什么是大数据?这次我们不谈概念,不谈理论,避虚就实,关注大数据在十大行业的实际应用.从证券行业到医疗领域,越来越多公司意识到大数据的重要性.2015年Gartner调查显示,超过75%的公司正在投资或计划在未来两年内投资大数据.而在2012年进行的类似调查中,仅有58%的公司在未来两年内计划投资大数据.增强客户体验.降低成本.精准营销以及提高流程效率.数据安全是公司关注大数据的主要目的.本文将研究正在使用大数据的10个垂直行业及面临的挑战,以及大数据如何解决这些难题. 1. 银行和证券挑战:通过

BI大数据智能可视化大屏分析系统建设软件开发

要建设企业级大数据可视化分析系统,需要构建企业统一的数据库体系或者直接将已有数据库对接.进行数据建模,为数据分析可视化呈现奠定基础.通过数据分析管理系统,有了数据基础,就可以构建BI大数据智能可视化大屏分析,满足企业的业务需求,提升数据价值. BI大数据智能可视化大屏分析系统建设软件开发的技术实现: 1.Hadoop:使用 hadoop作为系统的基础框架,对数据进行分布式的存储和分析.HDFS是 hadoop提供的分布式存储系统,它对体积巨大的数据切分成多个小块存储的不同的节点,每个块又做了多个

网络天然是大数据的,大数据天然是网络的

The network is naturally bigdataing, while bigdata is inherently networking. [email protected] 用英文表达似乎更加准确一些. 计算机科学发展了半个世纪,而网络的出现极大推动了计算机相关技术的爆发式进步. 计算机或网络领域所研究的典型问题,往往都是追求高性能.精确.准确,而大数据技术则往往提供一些统筹.模糊的结论. 一方面,网络中产生了海量的数据,无法被传统技术处理而白白浪费:反过来,要实现大数据处理的平

大数据上的“大产品”

在筑尼玛看来随着大数据时代的来临,不可否认的成为现今企业发展的必要参考条件,而大数据不止是帮助企业增加应收.提升市场份额,它还能令企业的产品及产品开发更上层楼,然而现在很少有企业认真思考如何将更多的数据加入产品中. 而什么是产品和大产品呢?作为消费者这是最简单的一个问题,你吃的.穿的.用的.玩的,无一不是产品,如果我们要用专业术语去书,产品就是用来满足人们需求和欲望的物体或无形的载体,简言之,是能够提供给市场.被人们使用和消费.并能满足人们某种需求的任何东西,包括有形的物品.无形的服务.组织.观

跟上节奏 大数据时代十大必备IT技能(转)

新的想法诞生新的技术,从而造出许多新词,云计算.大数据.BYOD.社交媒体……在互联网时代,各种新词层出不穷,让人应接不暇.这些新的技术,这些新兴应用和对应的IT发展趋势,使得IT人必须了解甚至掌握最新的IT技能. 新的想法诞生新的技术,从而造出许多新词,云计算.大数据.BYOD.社交媒体.3D打印机.物联网……在互联网时代,各种新词层出不穷,让人应接不暇.这些新的技术,这些新兴应用和对应的IT发展趋势,使得IT人必须了解甚至掌握最新的IT技能.另一方面,云计算和大数据乃至其他助推各个行业发展的

跟上节奏 大数据时代十大必备IT技能

新的想法诞生新的技术,从而造出许多新词,云计算.大数据.BYOD.社交媒体……在互联网时代,各种新词层出不穷,让人应接不暇.这些新的技术,这些新兴应用和对应的IT发展趋势,使得IT人必须了解甚至掌握最新的IT技能. 新的想法诞生新的技术,从而造出许多新词,云计算.大数据.BYOD.社交媒体.3D打印机.物联网……在互联网时代,各种新词层出不穷,让人应接不暇.这些新的技术,这些新兴应用和对应的IT发展趋势,使得IT人必须了解甚至掌握最新的IT技能.另一方面,云计算和大数据乃至其他助推各个行业发展的