一篇文章为你解读大数据的现在和未来

大数据的发展前提

 

 关于大数据的概念其实在1998年已经就有人提出了,但是到了现在才开始有所发展,这些其实都是和当下移动互联网的快速发展分不开的,移动互联网的高速发展,为大数据的产生提供了更多的产生大数据的硬件前提,比如说智能手机,智能硬件,车联网,pda等数据的产生终端。这些智能通过移动通信技术和人们的生活紧密的结合在一起,在人流、车流的背后产生了信息流,也就产生了大量的数据。

 

 其次就是移动通信技术的快速发展,在2G时代,无线网速慢,数据产生也非常慢,数据体量也不够,所以还是无法形成大数据,而到了4G时代,终端数据的增加,使得任何的移动终端都在无时无刻的产生着大量的数据,这个也是大数据到来的一个条件之一。

 

 第三个方面的就是大数据相关技术的飞速发展,如云计算,云存储技术,他们的快速发展,是大数据诞生的温床,如果没有这些技术,即使有大量的数据也只能望洋兴叹。传统的存储技术相对落后,根据不同数据实行单一存储,这个显然满足不了大数据的需求,而云时代的存储系统需要的不仅仅是容量的提升,对于性能的要求同样迫切,与以往只面向有限的用户不同,在云时代,存储系统将面向更为广阔的用户群体,用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升,只有这样才能对请求作出快速的反应,云储存技术的成熟为大数据的快速发展奠定了基础。

 

 什么是大数据?

 

 不过说起大数据,估计大家都觉得只听过概念,但是具体是什么东西,怎么定义,没有一个标准的东西,因为在我们的印象中好像很多公司都叫大数据公司,业务形态则有几百种,感觉不是很好理解,所以我建议还是从字面上来理解大数据,在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》提到了大数据的4个特征,一个是数量大,一个是价值大,一个是速度快,一个是多样性。

 

 一个是数量比较大,大致有多大,就是大到PB级别,甚至ZB级别,1PB等于1024TB,1TB等于1024G,那么1PB等于100多G,当然了具体的计算方法可以相关资料数据进行查询,总之,和传统的单个网站数据库存储的数据相比,已经是它的上百倍还多,而只有数据体量达到了PB级别以上,才能被称为大数据。第二个是价值大,价值是大体量数据的更深一步的演变,就是说,你如果有1PB以上的全国所有20-35年轻人的上网数据的时候,那么它自然就有了商业价值,比如通过分析这些数据,我们就知道这些人的爱好,进而指导产品的发展方向等等。如果有了全国几百万病人的数据,根据这些数据进行分析就能预测疾病的发生。这些都是大数据的价值。

 

 第三个就是多样性,如果只有单一的数据,那么这些数据就没有了价值,比如只有单一的个人数据,或者单一的用户提交数据,这些数据还不能称为大数据,所以说大数据还需要是多样性的,比如当前的上网用户中,年龄,学历,爱好,性格等等每个人的特征都不一样,这个也就是大数据的多样性,当然了如果扩展到全国,那么数据的多样性会更强,每个地区,每个时间段,都会存在各种各样的数据多样性。

 

 第四个是速度快,就是通过算法对数据的逻辑处理速度非常快, 1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同。

 

 总之,这些就是大数据的四个特征,只有具备了这些特征的数据才能称为大数据,那么实际中的大数据是怎么样呢?业内著名的和大数据相关的公司,七牛云存储将要在8月29日、30日举办一次大数据的会议,对于位于大数据技术产业链上的公司来说,我们应该可以获得更多的干货爆料。

 

 大数据的三个层次

 

 说起大数据,大数据有三个层次,第一个是数据采集层,以App、saas为代表的服务。第二个技术服务层,以七牛云存储为代表的大数据技术服务层,这些包括数据的存储,数据的分析,数据的挖掘等等,第三个是数据应用层,以数据为基础,为将来的移动社交、交通、教育,金融进行服务。下面我就主要的讲下三个层面。

 

 数据采集层——App、saas、智能硬件服务

 

 在移动互联网时代,大数据的来源层有两个方面,一个方面是面向个人的数据来源前端如各种各样的App,一方面是面向企业服务的saas服务的产品。面向个人的App,在饮食领域的App,如饿了么,用户通过App进行选餐,下单,通过App交互就会形成饮食领域的大数据;在o2o领域,如嗒嗒巴士,用户通过使用App进行乘坐交通,上班下班,就会形成交通领域的大数据,如穿衣助手,用户通过App进行选择衣服颜色,样式,进行搭配,就会形式服务类的大数据,当然了还有秒拍、快看等娱乐类的消费数据。面向个人用户的App,以满足用户的需求为主要出发点,产生用户的数据,这些数据包括以个人基础的数据,也包括随群体数据,随着App用户量的增长,这些App数据就成了大数据。

 

 面向个人的数据来源,直接通过用户的需求产生数据,而面向企业服务的——saas服务则不一样,他们通过为企业提供一套完整的解决方案,而产生数据,比如图灵机器人,人脸识别技术,气象plus、海康威视等,他们通过完美的解决方案服务企业,最终服务用户,从而产生大数据,数据采集层,是大数据的来源,也是大数据的基础。

 

 云存储对大数据的促进作用

 

 有了数据采集层,那么下一步就是数据的存储层了,使用云存储技术将数据存储在云主机上,保证数据的安全、稳定、高效都需要云存储技术来完成。云存储主要负责数据的存储以及计算,比如七牛的云存储技术,云存储技术是大数据发展跨不过去的一道坎,如果没有云存储技术,大数据就不能得到发展。

 

 云存储中面向企业存储的数据最大

 

 当前的云存储分为公共云存储和私有云存储,公共云存储主要是面向个人,比如百度网盘等,而私有云存储主要是面向企业,其实面向企业的云存储的存储的大数据最终来源还是来自个人,比如目前的很多saas服务,IM、统计等企业服务,服务主要是面向个人的App,而类似七牛云存储这样的云存储则是出于更底层,基于云主机之上,而位于所有个人服务、企业服务之下,所以说,七牛云存储应该积累了更多的大数据,而通过即将月底举办的这次《数据重构未来》的大会,我想可以获得更多的关于大数据的干货。

 

 云存储满足了海量大数据海量数据的存储需求

 

 随着移动互联网的快速发展,传统的存储方式已经在容量、性能、智能化等方面无法满足需求。云存储的出现,比如类似和七牛一样的云存储技术,从功能上弥补了传统存储的不足,通过虚拟化大容量存储、分布式存储和自动化运维等功能,实现了存储空间无限增加和扩容,自动化和智能化功能提高了存储效率。另外,规模效应和弹性扩展,降低运营成本,避免资源浪费。

 

 云存储技术节省了开发者的成本

 

 特别是当下移动互联网的火爆,使得App行业出现了爆发式的增长,App的 数量已经达到了300百万以上,同时图片App、视频App、音频App如camera360、优酷视频、荔枝FM等App都会在发展过程中产生大量的数据,对于这些数据来说,如果让企业自身去开发一款分布式的存储系统,这可能需要构建一个几十人的开发团队,成本也会大大增加,而通过使用类似七牛一样的云存储,可以节约企业成本,让企业发展更加迅速。

 

 云存储技术为大数据的数据分析提供了基础依据

 

 作为大数据的存储服务商,云存储有着非常大的数据挖掘潜力,云存储平台为大数据的分析提供了“水”的来源,有了这些数据,同时配置上一些数据分析工具,完全可以产生一些非常有价值的分析数据报告。

 

 比如基于云存储服务这个基础,七牛可以在企业的需求下,为企业提供企数据分析,例如这款应用在哪些地区受访问次数多、怎样的用户更喜欢这款应用等,但不会涉及分析用户隐私相关的数据。当然了,还可以针对整个图片行业、视频行业、以及音频行业提供受众的用户行为、以及特征这一系列的群体特征。

 

 这些都是云存储在存储的数据体量达到大数据的特征后,能做的一系列的分析依据。所以说云存储是大数据发展中的最重要的一个环节。

 

 大数据未来的行业应用

 

 说了大数据的采集层,数据存储层,那么最后讲下大数据的应用层,既然有了大数据,那么以大数据为基础,就会产生以移动金融,移动社交,o2o,在线教育等多方面的应用。

 

 移动金融

 

 随着移动互联网金融的发展,金融交易与支付已经从桌面电脑延伸到移动智能终端,企业自身只能从内部洞察经营情况,或从市场中获得不全面的统计信息,作为决策参考。比如银联智惠可以帮助企业能够从外部了解市场,洞察对手的位置,了解市场趋势和自身的地位,通过利用自身优势通过全行业的交易记录得到高质量的基础数据,并替企业完成了大量繁琐的数据采集、清理工作,整合到企业的基础经营分析数据库中,让企业事半功倍。

 

 当基础数据进入企业数据库后,通过银联智惠的用户画像模拟器进行目标客户消费行为建模,将历史交易行为分得出目标客户的交易共性特征,从而完整的从消费性别、消费年龄、消费习惯、消费频率、消费区域、消费偏好等多重维度完整描述客户群的轮廓,并得出客户的上下游关联交易行为特征,让企业真正认知客户群体的全貌,从而进行有效的商业决策。

 

 移动社交

 

 随着脉脉,恋爱记等社交应用的用户越来越多,用户的社交行为将会成为大数据的分析基础,通过分析用户的社交时间、对象、地点以及行为,可以分析出用户的爱好、年龄、需求,同时基于用户的大数据,可以针对这些数据做定向营销,从而大大提升了营销的效果,而相比之前的营销手段,则是基本根据人员的策划和想象得出,没有数据参考,营销的效果也不好把控。比如脉脉可以通过一些用户数据为企业招聘到合适的人,同时还能为一些用户提供一些合适的职位,完成需求和供求的高精度的匹配。

 

 而恋爱记,是一款记录恋爱为主的社交App,更加垂直,那么通过分析情侣之间的数据,可以获得更多的情感数据,从而为一些适龄男女提供恋爱的指导。这些都是基于大数据的应用。

 

 O2O类的应用

 

 移动互联网的深入发展,促进了o2o的繁荣,以嗒嗒巴士为代表的定制公交车应用,就是大数据的代表应用。

 

 传统的公交出行在公交站、公交路线的设定上,相对来说比较固定,通过分析一个城市内的群体出行数据,可以获得人群随着时间的出行规则,比如知道在早上8点为出行高峰,而从某个小区到某个写字楼的人流数为最大,那么我就定制一条公交线路出来,对于用户来说,满足了用户的需求,而对于公交公司来说,则是优化了交通路线,节约了资源,间接提升了成本,这些都是大数据的好处。

 

 ……

 

 还有更多的领域可以用到大数据,如大数据医疗,大数据营销,可穿戴设备等等。通过大数据可以创造出更多价值,正如一篇文章说到,通过大数据让做事的方法更加容易,让现实从三维空间变成了二维码空间,就像宇宙的虫洞一样,可以直接达到目标。意思是在过去没有大数据做参考,我们需要试验多次,才能知道那条路是对的,但是现在有了大数据做数据参考,我们可以直接到达终点。所以说大数据使得事情的发展变得更加简单。

 

 作者:移动互联网李建华,微信:ydhlwdyq, 移动互联网行业推广人士,转载本篇文章,请注明作者和微信,否则将追究你的法律权利。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-12-15 06:18:34

一篇文章为你解读大数据的现在和未来的相关文章

一篇文章为你解读大数据的如今和未来

大数据的发展前提 关于大数据的概念事实上在1998年已经就有人提出了,可是到了如今才開始有所发展,这些事实上都是和当下移动互联网的快速发展分不开的,移动互联网的快速发展,为大数据的产生提供了很多其它的产生大数据的硬件前提,比方说智能手机.智能硬件.车联网,pda等数据的产生终端.这些智能通过移动通信技术和人们的生活紧密的结合在一起.在人流.车流的背后产生了信息流,也就产生了大量的数据. 其次就是移动通信技术的高速发展,在2G时代,无线网速慢.数据产生也很慢.数据体量也不够.所以还是无法形成大数据

马哥教育大数据专家:深入解读大数据的就业前景

现在大数据越来越火热,很多人早早听说了大数据的名声,但对于大数据工程师这个职业的具体内容了解的还是不够.今天马哥教育(magedu.com)大数据专家为大家带来一份关于大数据工程师的详细分析,值得收藏~ 大数据工程师需要做什么呢? 大数据工程师就是一群"玩数据"的人,玩出数据的商业价值,让数据变成生产力.大数据和传统数据的最大区别在于,它是在线的.实时的,规模海量且形式不规整,无章法可循,因此"会玩"这些数据的人就很重要. 如果把大数据想象成一座不停累积的矿山,那么

读“图”智慧:大数据“画像”的应用未来

互联网的内容主流,已经出现从文字转向图片的趋势,这标志着互联网已经进入“读图时代”.在“读图时代”的大背景下,图像中的海量非结构化数据的挖掘成为价值潜力的集聚地,如何挖掘其中隐藏的用户“密码”,成为大数据“落地”遇到的一大挑战. 图片大数据挖掘,主要目标是从中提取出图片的自身特征,包括语义.质量.关联度.实体义项等.由于在互联网的推动下,信息载体和用户交流媒介已经从文字转变到了图片,图片的便捷性,使得网站与用户之间的互动更加频繁,而图片的交互输入与展现,也让数据的展现更加直观. 随着图片数据规模

深刻解读大数据技术在工业界的应用

大数据及其价值 大数据是近几年非常热门的一个概念.到底什么叫做大数据呢?简单而言,就是具备4V属性的数据: Volume:量非常大,大到一台计算机所无法处理的数据: Variety:来源广泛,包括文本.图像.语音.机器传感器信号.日算计程序日志等: Velocity:产生速度非常快: Veracity:准确性要求高. 关于大数据,有许多大家耳熟能详的经典案例,比如沃尔玛的"啤酒和尿布"案例:Target商场预测17岁女孩怀孕的等. *对大数据的概念都是模糊不清的,大数据是什么,能做什么

大数据和AI的未来畅想

<今日简史> 1.   10大趋势决定了未来10年的生存发展. 库兹韦尔提出"吓尿指数",是说一个人渠道未来的多久之后会被吓尿?随着科技飞速发展,吓尿指数越来越小.以前需要经历1000年发生的翻天覆地的变化,现在可能需要几百年,甚至几十年就可以完成.未来学家雷·库兹韦尔认为,人类在21世纪的进步讲师20世纪的1000倍,下一个吓尿指数可能是几十年甚至更短. 观点1 数据是21世纪最价值连城的资产 数据巨头(百度.腾讯.谷歌.facebook脸书)评估APP和产品已经不是能赚

区块链与大数据的整合,未来必然趋势

大数据与区块链是当今最热门的两个话题,带动了一系列的投资热潮.不论是风投领域,还是传统的金融领域,只要有这两个关键词出现,往往能让企业获得特别的关注.这也说明了这两个词在当今社会的火爆程度. 各个维度对 区块链 进行了详细阐述,那么大数据又是什么呢?现在很多人都认为,大数据的本质是「大」.也就是说,它的数据量必须非常的广泛和巨大,可能是海量级的.其实这并不准确. 大数据所指的「大」其实更偏向于全,也就是尽可能地接近某个统计范畴内最全面的数据,甚至达到全数据的统计结果.只有这样才能真正实现大数据的

精辟:一篇文章带你看懂数据储存!

前言:日益火热的云服务 小米组织架构调整上了热搜,如同阿里巴巴.华为和腾讯一样,小米组织架构调整中也将云平台单独成为一个部门.自2018年以来,各大企业调整组织架构的动作中,其实可以窥见大企业对云平台的重视程度,云服务在很多方面悄悄的改变了人们的生活,不过由于消费端接触不多,大家对云服务内容认识较少. 数据储存是云服务中较为重要的板块,早期百度.腾讯.微博.金山等企业都推出自己的免费云盘,供给用户使用,这也是我们最早接触云储存,随着云计算技术的成熟,云服务更偏重于为企业提供服务,基于云计算,搭建

大数据究竟是什么?一篇文章让你认识并读懂大数据[转]

来源:互联网分析沙龙     日期:2013-11-10 在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术.新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来.究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”:二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然. 我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查阅了资料,翻阅了最新的专业书籍,但我并不

年度钜献,108个大数据文档PDF开放下载

1.大数据的开放式创新——吴甘沙 相关阅读:[PPT]吴甘沙:让不同领域的数据真正流动.融合起来,才能释放大数据的价值 下载:大数据的开放式创新——吴甘沙.pdf 2.微软严治庆——让大数据为每个人服务 导读:数据文化带来1.6万亿美元数据红利,IDC调查显示,采用完整的大数据解决方案,将在未来4年内,给全球企业带来1.6万亿. 下载:微软严治庆—让大数据为每个人服务.pdf 3.大规模主题模型建模及其在腾讯业务中的应用 相关阅读:广点通背后的大数据技术秘密——大规模主题模型建模及其在腾讯业务中