你真的理解大数据吗?

(大讲台——国内首个it在线自适应学习平台,轻量级的高薪就业和技能提升解决方案)

大数据很火,已然是一种大势所趋,是雷军口中的下一个吹起猪的风口,是刘强东哥伦比亚大学深造回来的第一个发展对象。大数据牵动着全国精英的心。然而,你真的理解什么是大数据吗?

就目前来看,对大数据进行解释的声音总体分为两种,一种是大数据数据量级要大,一般可达到pb级别,有了足量的数据之后,根据数据搭建起一个全方位多角度立体化的识别体系,比如说谣言这件事,以前数据量虽大,但处理技术欠佳,不能对谣言这类信息作出全方位立体化多视角的分析,也因此不能断定其是否为谣言。

在有了hadoop技术之后,尤其两篇技术论文的发布还有谷歌和雅虎的大力支持,大数据技术终于变成现实。因此对数据全方位分析成为事实,再因此能够识别并判定谣言到底是不是谣言。

另外一种声音是大数据在根本上就不同于当下的分析方法,大数据是指数据挖掘,是分析方法的变革,是直接给出结果,根据相关性而不非因果关系对结果做出预测。

说到这块,为了更加清晰认识大数据是什么,需要了解一下人们认识事物的常用方法。

一般人们在判断逻辑事物的过程中,首先人们做的是掌握这个知识,具体表现为脑中有着关于这个的基本逻辑原理;这套原理充当的是参照作用,也就是当客观事实背景符合参照逻辑时,逻辑原理发挥作用,进而在人们追求目标过程中做参考。大数据不同于以上的逻辑过程的地方在于逻辑参照的改变——大数据之前的参照为一般性的因果关,而大数据则为相关性,即假定事件与事件之间存在联系,根据这种联系来判断结果,将相关性作为参照。

关于后者的大数据典型代表要数美国复兴科技,而前者实际是当下单个人思维组合到一起发挥协同作用的结果。

时间: 2024-10-07 04:02:29

你真的理解大数据吗?的相关文章

大数据架构和模式(三)——理解大数据解决方案的架构层

摘要:大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件,大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求.这些逻辑层列出了大数据解决方案的关键组件,包括从各种数据源获取数据的位置,以及向需要洞察的流程.设备和人员提供业务洞察所需的分析. 概述 这个 “大数据架构和模式” 系列的 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方法.如果您已经使用上一篇文章中的问题和提示分析了自己的情况,并且已经决定开始构建新的(或更新现有的)大数据解决方案,那么下一步就是

大数据架构和模式(三)理解大数据解决方案的架构层

本文件收藏于:http://kb.cnblogs.com/page/510980/ 作者: Divakar等  来源: DeveloperWorks  发布时间: 2015-01-29 18:21   推荐: 0   原文链接   [收藏] 摘要:大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件,大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求.这些逻辑层列出了大数据解决方案的关键组件,包括从各种数据源获取数据的位置,以及向需要洞察的流程.设备和人员提供业务洞察所需的

分分钟理解大数据基础之Spark

一背景 Spark 是 2010 年由 UC Berkeley AMPLab 开源的一款 基于内存的分布式计算框架,2013 年被Apache 基金会接管,是当前大数据领域最为活跃的开源项目之一 Spark 在 MapReduce 计算框架的基础上,支持计算对象数据可以直接缓存到内存中,大大提高了整体计算效率.特别适合于数据挖掘与机器学习等需要反复迭代计算的场景. 二特性 高效:Spark提供 Cache 机制,支持需要反复迭代的计算或者多次数据共享,基于Spark 的内存计算比 Hadoop

漫画揭秘Hadoop MapReduce | 轻松理解大数据

网址:http://www.iqiyi.com/w_19rtz04nh9.html 原文地址:https://www.cnblogs.com/beiyi888/p/9546752.html

我对软件行业及大数据的理解

对软件行业的理解 可以用需求.架构.工具和算法四个词对软件行业做一个整体的概括. 需求是推动软件行业发展的源动力,需求的变化带来了架构.工具和算法的进步. 架构这个层面上,主要涉及的是一种解决问题的思想和策略,好的架构的诞生源于对需求和技术的深入了解,但与具体的技术实现联系不是太紧密. 工具是有需求带动的,工具的产生会受到架构的限制,不同的工具一般对某一领域更擅长. 算法的进步依赖于基础学科,是对具体问题的优化处理. 总之,无论是需求.架构.工具,还是算法,很少出现跳跃性的进步和创新,大多是在以

大数据和「数据挖掘」是何关系?---来自知乎

知乎用户,互联网 244 人赞同 在我读数据挖掘方向研究生的时候:如果要描述数据量非常大,我们用Massive Data(海量数据)如果要描述数据非常多样,我们用Heterogeneous Data(异构数据)如果要描述数据既多样,又量大,我们用Massive Heterogeneous Data(海量异构数据)--如果要申请基金忽悠一笔钱,我们用Big Data(大数据) 编辑于 2014-02-2817 条评论感谢 收藏没有帮助举报作者保留权利 刘知远,NLPer 4 人赞同 我觉得 大数据

挨踢部落直播课堂第一期:起航2017——拥抱大数据

1.大数据框架结构和全景概览: 2.企业大数据场景和不同数据源整合利用: 3.大数据学习与高薪求职: 一.大数据框架结构和全景概览 似乎一夜之间,大数据(Big Data)变成一个IT行业中最时髦的词汇. 大数据 首先,大数据并不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据每个用户的需求,Google实时从全球海量的数字资产(或数字垃圾)中快速找出最可能的答案,呈现给你,就是一个最典型的大数据服务.只不过过去这样规模的数据量处理和有商业价值的应用太少,在IT行业

100篇大数据文章[转]

摘要:PayPal高级工程总监Anil Madan写了篇大数据的文章,一共有100篇大数据的论文,涵盖大数据技术栈,全部读懂你将会是大数据的顶级高手. 开源(Open Source)用之于大数据技术,其作用有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的推动作用.另一方面,开源也给大数据技术构建了一个异常复杂的生态系统.每一天,都有一大堆"新"框架."新"类库或"新"工具,犹如雨后春笋般涌

读完这100篇论文,你也是大数据高手!

引言 PayPal高级工程总监Anil Madan写了这篇大数据的文章,一共有100篇大数据的论文,涵盖大数据技术栈,全部读懂你将会是大数据的顶级高手.当然主要是了解大数据技术的整个框架,对于我们学习大数据有莫大好处. 开 源(Open Source)用之于大数据技术,其作用有二:一方面,在大数据技术变革之路上,开源在众人之力和众人之智推动下,摧枯拉朽,吐故纳新,扮演着非常重要的 推动作用.另一方面,开源也给大数据技术构建了一个异常复杂的生态系统.每一天,都有一大堆“新”框架.“新”类库或“新”