大数据应用的未来挑战和发展趋势

过去需要用百年才能走完的一个时代现在可能用几十年、十几年就完成了,英国的工业革命从发芽到在全世界生根用了一百年,美国的信息高速公路从一项绝密计划到让世界变成一个村落用了二三十年,而移动互联网、云计算、大数据现在正席卷全球,让各国的政府、企业都在将其视为一个金矿,希望能从中占得先机。大数据的理论研究应该有十几年的历史,随着研究的进行,相关的应用也已经投入到无论是实验室或者是尖端企业的内部,而离我们的日常生活还很遥远。我想在不久的将来最重要的是将大数据应用到我们的日常生活中,让每个人都成为大数据的贡献者、管理者和获利者。但是,大数据正在经受已有制度、规则以及传统思维模式的挑战,我们需要的是变革,从思维上建立与大数据的一致性。

当硬盘等存储设备的价格变得越来越便宜了,当数据中心在全球部署得越来越密集,当服务器的运算速度越来越快的时候,我们可以存储所有的数据,存储若干年,几十年的数据,从这些数据当中无论是横向角度还是纵向角度都可以去分析潜在的规律。这种分析方式是对采样分析的挑战,采样分析在过去很长一段时间为我们分析数据带来了便利,并且有一定的准确性。然而随着时代的变更,细分在社会中占的比重越来越大。例如问卷调查“对就业城市的选择”,过去可能在大街上随便发上千份调查问卷,然后回来做个统计就算分析出大家的喜好了,然而在以前大家会认同这个数据。然而这个数据可靠吗?太不可靠了,因为接受问卷的人都是同一地域的人,都是同一年龄层次的人,都是同一行业的人,不能代表更广大人群的心声。这就是采样分析的弊端,无法从细分的角度去诠释数据样板的规律,给出靠谱的解释。大数据的做法将颠覆传统,它不会是当需要进行一次问卷调查的时候就去搜集样板信息,这样无论是从时间、地域、人群都输在了起跑线上。假设企业的招聘录用信息都已经做了电子化处理,大数据应用将对这个整体样板进行分析从年龄层面、从行业层面、从地域层面给出就业城市选择的不同答案。

从古至今,我们都一直在精益求精,这让我们取得 了很多举世瞩目的成就,例如我们研究物质,我们探寻到物质是由原子组成的,而后原子这个最小单位被打破了,它的内部还有质子和电子,又过了多少年,质子和电子也被认为不是最小单位,还有夸克。这是一种态度,需要坚持,这个方向有利于我们能怀着追求极致的情怀继续在科学的道路上前行。然而现在有了另外一个方向,这个方向要求我们放弃精准,我们需要把注意力专注到事物的发展方向上即可,这个发展方向就是一种可能,可能就代表一种预测。快餐化的生活让我们对未来会怎么样,对下一步会怎么样的需求越来越大。海量的数据不应该被尘封,应该发光发热,为我们预测未来,预测变化。不知道大家注意到没有,现在QQ已经开始做图像识别方面的工作了,当你浏览好友相册的时候,QQ应用程序会掘取其中的人脸,让你填写该人脸的真实名字,如果每个人都在做这项工作,随着岁月的积淀,有一天QQ就可以直接告诉你相片中的每个人是谁了,同时也可以想其他好友推荐美好的瞬间。这就是一种精准的预测,虽然不可能是100%,但是能告诉我们愿意得到的信息。我们的国家也在定期搜集衣食住行方面的数据,不断的优化计算CPI的模型,为有效控制和预测通胀提供参考。

中国人历来讲究因果,不仅知其然,更要知其所以然。如果在大数据面前,我们仍喋喋不休,那么将丧失很多可能性,放在商业,就会浪费商机,放在医疗,就会让病人错过某些疾病治疗的良机。大数据之所以不关注因果关系,那是因为大数据发现相关关系更能说明问题,而且这种解释就是理所当然的。大数据分析发现当某一种数据增加时,另外一种数据也会跟着增加,如果将二者结合看,在现有认知下并不能发现二者的因果关系。我们为什么不搁置因果,先应用这种得出的结论,看这个结论是否能产生效益。零售业巨头沃尔玛在这方面的研究走在了前列,通过记录每位购物者的购物清单,还记录当天的天气,经过长时间的研究,发现当飓风来临时,手电筒和蛋挞的销量剧增,手电筒的需求是源于如果发生停电,手电筒可以支撑照明,但是每个人都不明白为什么这个时候大家都爱吃蛋挞。没有必要纠结为什么,以后飓风来临,就把手电筒和蛋挞放在一起卖吧,这样销售量果然大增。

大数据在未来面临的挑战主要是两方面:一是思维和制度的变革;二是记录信息的方式需要全面的电子化。未来,随着政企网、智慧城市、智能交通这些新兴事物在城市里面变得习以为常,人们都愿意采用电子化的方式记录和管理我们的信息,那么大数据一定会有更大的用武之地,产生更大的商业价值和社会效应。

时间: 2024-10-20 02:54:21

大数据应用的未来挑战和发展趋势的相关文章

传统咨询业必死,拥抱大数据才是未来

移动互联网时代,产品服务都在快速迭代,对颠覆式创新有着极高的要求.更重要的是,咨询业的竞争优势也在逐渐消失,很难再满足快速发展的企业.而基于大数据的解决方案,不仅能够快速找到"发力点",还蕴藏着无限的商机. "新.平.快"三招虐死传统咨询业 移动互联网时代炮制了"新.平.快"三招,对传统咨询业进行花式虐打. XIN 新 在互联网的冲击下 传统咨询业同样自身难保 移动互联时代,大数据.物联网.云计算等技术应用的日新月异,对传统咨询业服务方式也提出了

不只是Hadoop:大数据技术的未来道路

在实时数据的世界当中,我们为什么还要执着于Hadoop这一片森林? 作为一套以批量处理为主要诉求的架构方案,Hadoop仍然堪称大数据技术领域的荣耀长子.然而根据451研究集团的调查数据显示,其实际普及效果仍然不及显赫的声誉. 那些已经率先部署了Hadoop解决方案的企业可能希望稍稍放慢自己的前进脚步.伴随着Apache Spark以及其它一系列技术方案的出台(包括Storm.Kafka等等),我们似乎与Hadoop的批量处理思路渐行渐远.转而踏上了一条真正通往实 时性未来的发展道路. 批量并非

大数据现状和未来展望--百度大数据主任架构师马如悦访谈

导读:6 月 1 ~ 2 日,GIAC 全球互联网架构大会将于深圳举行.GIAC 是一个面向架构师.技术负责人及高端技术从业人员的技术架构大会.今年的 GIAC 已经有腾讯.阿里巴巴.百度.今日头条.科大讯飞.新浪微博.小米.美图.Oracle.链家.唯品会.京东.饿了么.美团点评.罗辑思维.ofo 等公司专家出席. 在大会前夕,高可用架构采访了本届 GIAC大数据分论坛 出品人马如悦,就目大家广泛关注的大数据方面的问题进行了访谈. 马如悦,百度大数据主任架构师,当前是百度大数据技术总负责人,百

大数据才是未来,Oracle、SQL Server成昨日黄花?

1. 引子**** 有人在某个专注SQL的公众号留言如下: 这个留言触碰到一个非常敏感的问题:搞关系型数据库还有前途吗?现在都2020年了,区块链正火热,AI人才已经"过剩",大数据都成了稀松平常的萝卜白菜,你却还在搞SQL Server? 你还在搞SQL? 你就是那个被时代淘汰的人! 2. 原因 最近10年,数据管理领域的变化可谓精彩纷呈.什么Hadoop, Spark,MemcacheDB, Redis, Vertica, HANA, Cassandra, MongoDB, Inf

大数据生活之未来之晨

2022年某月某日 时间:早上8点 “滴滴…滴滴…” 随着一阵音乐声,我揉了揉沉睡一夜的惺忪睡眼. “亲爱的主人,早上好,您今天的体重75公斤,比昨天重了1斤,分析原因应该是昨晚吃饭后您没有蹲大号,所以经过消化和胃部过滤后沉积的排泄物导致您今天重了一斤.根据您平时的习惯,卫生间已经准备好了来自魔力红的sugar和您最喜欢维达3层软纸,请慢用.” 赤身裸体的穿上拖鞋,慢慢移步到卫生间,然后开始了最美好的十分钟,拉..粑粑. 这时候只听马桶传来机器的语音: “亲爱的主人您好,正在根据您今天的排泄物分

话题讨论&征文--谈论大数据时我们在谈什么 获奖名单发布

从社会发展趋势的角度,非常明显大数据会是眼下肉眼可及的视野范围里能看到的最大趋势之中的一个.从传统IT 业到互联网.互联网到移动互联网,从以智能手机和Pad 为主要终端载体的移动互联网到可穿戴设备的移动互联网,然后再到万物互联的物联网,这一定是不可违抗的发展规律和前进方向.伴随着这个趋势必定有越来越多.形态越来越丰富的超量数据不断产生,而大数据明显是由此衍生出来的明白且必定的发展趋势. 讨论话题:谈论大数据时我们在谈什么 话题提示: 1   您能接触到的大数据有哪些? 2   您最想了解的大数据

谈论大数据时我们在谈什么

从社会发展趋势的角度,很明显大数据会是目前肉眼可及的视野范围里能看到的最大趋势之一.从传统IT 业到互联网.互联网到移动互联网,从以智能手机和Pad 为主要终端载体的移动互联网到可穿戴设备的移动互联网,然后再到万物互联的物联网,这一定是不可违抗的发展规律和前进方向.伴随着这个趋势必然有越来越多.形态越来越丰富的超量数据不断产生,而大数据明显是由此衍生出来的明确且必然的发展趋势. 讨论话题:谈论大数据时我们在谈什么 话题提示: 1   您能接触到的大数据有哪些? 2   您最想了解的大数据架构与算

带你装B,带你飞的大数据时代

我接触过的大数据有: 1.美国棱镜计划 2.前几天新闻报道的,苹果公司窃取用户隐私 3.百度的用户搜素习惯统计分析 4.淘宝的用户购物习惯分析,智能推荐宝贝 5.浏览器的智能标签页 ... 最想了解的大数据架构与算法: 1.著名的Google   网页排名算法:PageRank 2.著名的聚类算法:K-Means 7.CART 3.C4.5 4.k-Means 5.SVM 6.Apriori ... 大数据应用的未来挑战和趋势是: 最大的挑战并非技术和数据本身,而在与人们对于数据的认识和态度.这

互联网大会带你了解大数据的未来发展趋势

大数据,虽然与我们的生活息息相关,但很多人不了解大数据的意义所在.或许是因为大数据这个概念太过宽泛,也没有具体的产品做支撑,但大数据对国家对企业可真的是有着举足轻重的地位.2017互联网大会,更是带起了大数据的狂潮. 大数据已经成为改变世界的力量,无数据不智能,无数据不商业,作为未来世界的基础设施,所有的企业都无法回避数据化这一过程.阿里巴巴集团董事局主席马云在大会现场表示:"未来30年数据将成为生产资料,计算会是生产力,互联网是一种生产关系.如果我们不数据化,不和互联网相连,那么会比过去30年