大数据是什么?华为云学院带你探索大数据之旅

大数据是什么?华为云学院带你探索大数据之旅
我们首先从大数据是什么开始讲起,!下面由我来带领大家!展开我们本次的大数据学习之旅!大数据是什么,内容将包括大数据的产生,发展大数据的基本概念。首先我们来追溯一下大数据的产生与发展,大数据的产生和发展主要经历了三个阶段。

第一个阶段,我们称为是萌芽期!自上世纪九十年代至本世纪初,随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识的管理技术也开始得到应用,比如数据仓库,专家系统知识管理系统等等。第二阶段我们称为是成熟期。本世纪的前十年Web2.0应用的迅猛发展,非结构化数据的大量产生,使得传统的处理方法已经难以应对,而大数据技术却快速的突破。而大数据的解决方案也逐渐的走向成熟。大数据在成熟期形成了并行计算与分布式系统两大核心技术。谷歌的GFS和MapReduce等大数据技术呢也受到了追捧!开源技术Hadoop平台也开始大行其道!而第三个阶段我们称为大规模的应用期。2010年以后,呢大数据开始广泛用到各行各业!人们开始用数据来驱动决策,社会的信息化智能化程度也大幅的提高。
所以,大数据的发展,历经茫崖成熟,再到大规模应用三个阶段。

我们了解了大数据的发展历程,那究竟什么是大数据?关于大数据的概念众说纷纭,甚至已经成为了一个商业问题,并且在商业出版社被大量的报道。比如福布斯的杂志报道称,大数据已经抵达赛特医疗保健家庭,通过使用这个分析工具,每年超过200万的复杂病例患者得到了帮助。纽约时报指出,数据已经成为一类新的经济资产,就像货币或者是黄金一样。而CNBC呢也曾这样比喻,数据就像新型石油一样,为挖掘的没有什么价值,但经过加工提炼以后,将会极大的助力世界发展。那么我们究竟如何去定义大数据?其实呢到目前为止,大数据还没有一个明确的统一的定义,不同组织机构对大数据有着不同的描述。麦肯锡认为,大数据是指大小超出了典型数据库软件的采集存储管理和分析等能力的数据集。他认为大数据的一般范围是从几个TB到几个pb,而维基百科给出的定义是,无法在一定时间内使用常规的软件工具,对其内容进行抓取管理和处理的大量而复杂的数据集合。

美国国家标准技术研究院给出的定义是,数量大,获取速度快,或者是形态多样的数据,难以使用传统的关系型数据分析方法进行有效的分析,或者需要大规模的水平扩展,才能高效处理的这种数据形态。而Gartner公司认为大数据是一种体量大快速和多样化的信息资产,需要使用高效率和创新型的信息技术加以处理,来提高发现洞察,做出决策和优化流程的能力。可见对大数据的定义还没有统一的定论。但不论哪一种描述,关于大数据的思维特征却是一致公认的。那什么才是大数据的思维特征?呢我们来一起认识一下。首先第一个V指的是VOLUME,容量。主要指非结构化数据的规模和增长速度。因为非结构化数据占数据总量的80%到90%,同时也比结构化数据增长快十倍到50倍,并且数据量是传统数据库的十倍到50倍。第二个V指的是为Variety,多元化。主要指大数据的易构和多样性。数据有很多不同的形式,比如文本图像视频机器数据等等,这些数据大多是无模式或者是模式不明显。第三个V值得是value,价值,主要体现在大量的不相关,信息价值密度低,需要通过深度复杂分析,才可以对未来的趋势和模式进行预测。第四个V指的是Velocity高效。主要体现在实时分析,实时呈现分析结果。

好,那么接下来我们详细分析一下思维特征。第一个,V580亩数据的体量巨大,主要体现在从TB级别到pb级别。截至目前为止,人类生产的所有印刷材料的数据量是两百个pb。那么当前典型的个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近到一B级别,这是什么概念?呢我们来看一下容量单位的一些形象事例。比如一个pb等于1024个TB相当于50%的全美学术研究图书馆藏书的内容总和,一个1B等于1024个pb,那五个E币就相当于至今全世界人类所讲过的所有话语,一个ZB等于1024个1B如同全世界海滩上的沙子的数量总和。一个歪B等于1024ZB相当于7000为人类体内的细胞数的总和,可见呢大数据的数据量确实是海量的。第二个VVIP多样化,其实物联网数据互联网数据企业行业内的数据呢都是大数据的数据组成部分。

那么大数据的多样性主要体现在,第一数据的来源多,企业内部多个应用系统的数据,互联网和物联网的兴起,带动微博社交网站传感器等多种数据来源。
第二,数据的种类多,保存在关系型数据库中的结构化数据其实呢只占少数,而80%到90%的数据是诸如图片音频视频模型连接信息文档等等一些非结构化和半结构化数据。那么相对以往便于存储的以文本为主的结构化数据而言,这些非结构化数据越来越多。同时这些多类型的数据对数据的处理能力也提出了更高的要求。
第三,关联性强。数据之间的频繁交互,比如游客在旅途中上传的图片和日志,其实与游客的位置和行程等信息呢有很强的关联性。因此大数据不仅体现在量的巨大,还体现在种类的丰富多样。而第三个VV6价值。对于大数据本身而言,它的价值密度低,这是它的典型特征。而如何去挖掘大数据的潜藏价值,像沙里淘金一样,从海量数据中挖掘稀有并且珍贵的信息,那么才是大数据的核心。那么第四个V指的是什么?
在大数据领域能否实现实施的数据流处理,是区别大数据引用和传统数据仓库技术BA的关键差别之一。那比如我们以一秒为临界点,对于大数据应用而言,要求必须在一秒内形成答案,否则处理结果就是过时或者是无效的。根据I dc的数字宇宙报告,预计到2020年,全球数据的使用量将达到35.2个ZB那么在如此海量的数据面前,处理数据的效率就是企业的生命。好,以上就是大数据的思维特征。
下一次我们将继续探索大数据,如想进一步视频学习,请请访问华为云学院(https://edu.huaweicloud.com/
我在华为云学院等你,不见不散喔~

原文地址:http://blog.51cto.com/13988201/2295545

时间: 2024-11-05 15:58:43

大数据是什么?华为云学院带你探索大数据之旅的相关文章

物联网是什么,华为云学院带你走进物联网的前世今生

物联网是什么,华为云学院带你走进物联网的前世今生说起物联网,你是不是感到既熟悉又陌生!没错,从随处可见的射频技术,智能穿戴智能电器,到迅猛发展的智慧家庭,智能交通共享,单车,无人机运输,智慧医疗等等等等,这些科技应用的背后都是物联网,但他们却又远不足以代表互联网的全部!今天就让我们走进物联网先建立起对物联网概念和技术的初步认知,互联网之所以诞生是因为和一个咖啡壶!是的,这是1991年剑桥大学特洛伊计算机实验室楼下一个普通咖啡壶,由于不能聪明地告诉楼上科学家们咖啡是否煮好,于是聪明的科学家们编写了

Python难吗?华为云学院带你一探究竟!

Python是一直广受大家欢迎的编程语言,简单易学并且功能非常强大.python拥有高效的高级数据结构,并且能够简单并且快速的进行面向对象的编程.python的语法简洁优雅,并且它是动态语言,加上它的语言的可解释性,使其在大多数平台上可以进行一个脚本的编写,还有相应程序的一个开发. 我们将带大家了解python的安装过程和编译,python的基础语法,包括了常用的数据结构,数据类型条件语句循环语句函数模块文件的处理等等,包括如何将学到的python基础知识应用到实际场景中.Python是纯粹的开

区块链是什么?华为云学院带你领略区块链的前世今生

1. 为什么会出现区块链区块链技术的出现是互联网发展到一定高度的必然产物,互联网的TCP/IP协议基本实现了全球信息高速.低成本的传输和共享,但是随着互联网进入到生活的各个层面,我们发现货币这一类需要信任背书的特殊信息,仍然无法在互联网上进行高速传输和共享,其根本原因在于,现有的信息互联网不是价值互联网.货币这一类需要背书的价值信息的传递和分享,必须获得所有参与方的认可,且结果不能受任何一方控制.那么,互联网的下一步发展急需要解决的就是价值转移的问题.目前"价值转移"行为是通过中介来解

什么是云连接?云学院带你了解华为云连接知识

云连接为用户提供一种能够快速构建跨区域VPC之间以及云上多VPC与云下多数据中心之间的高速.优质.稳定的网络能力,帮助用户打造一张具有企业级规模和通信能力的全球云上网络.通过购买一条云连接,将用户所需要实现互通的不同区域的网络实例加载到购买的云连接实例中,这里的网络实例可以是用户自己购买的VPC实例或用户创建的本地数据中心接入的VGW实例,也可以是其它用户授予权限的VPC实例,最后通过配置需要互通的网络实例之间的带宽,就可以快速的为您提供全球网络互通服务.云连接的实现原理如图1所示. 那么云连接

华为云学院干货:对象存储服务:便捷管理存储资源

华为云学院干货:对象存储服务:便捷管理存储资源随着数据规模不断增加,收集和存储大型数据集对于任何规模的企业都让人生畏,而且访问组织和分析非结构化数据给企业制造了大量新的挑战.华为云对象存储服务是基于对象的海量存储服务,能为您提供高可靠高性能高安全的数据存储能力.OBS服务基于策略(时间.名称.标签.版本)配置,实现数据在标准存储低频访问存储和归档存储中按需流动,标准存储持久性99.999999999%.无最低存储时间,毫秒级时延.低频访问存储:持久性99.999999999%,30天最低存储时间

华为云学院给大学生的献礼:轻松玩转微认证

第72届"世界大学生日"刚刚过去不久,这个节日本是为了在大学生中倡导追求和平.民主.自由和进步,如今,战乱过去已久,现今社会对人才的要求和期待越来越高,大学生也有着属于这个时代的使命与目标.现如今,基于ICT 网络.以人工智能为引擎的第四次技术革命正将我们带入一个万物感知.万物互联.万物智能的智能世界.大学生在这个日益迅速进步的时代中,也需要时刻保持学习的心态,才能不落伍于时代,跟上时代的脚步,充实自我的同时更好地为社会做出贡献!华为云学院紧跟社会发展需求,推出知识即服务的理念,为社会

你有梦想吗?华为云学院助你实现梦想

明天便是世界梦想日,问问自己:我有梦想吗?我最想实现的梦想是什么?作为这个世界小小的一员,想要努力提升自我,在这个世界发光发亮,却不知道何去何从?实现梦想,要忠于内心,持续坚持,在通向梦想的路上,或许你会发现在很长的这段路上,路越走越窄,陪伴你的人越来越少,但只要你坚持,就会有越过荒凉之地后的光明.在这条道路上,华为云学院会陪伴着你,只要你坚持不放弃,我们会为你提供优质的课程内容,让你在梦想的道路上可以不断充实自我,提升技能,在梦想的道路上伴你前行!今日,华为云学院也为你提供通向梦想的引路灯,精

云学院带你入门云计算:如何理解IaaS、 PaaS、SaaS

今天给大家简单介绍一下云计算入门知识之IaaS. PaaS.SaaS,包括云的划分与介绍.说到理解IaaS. PaaS.SaaS,先从它们在云中的定位开始. 从上图可以看出云从不同的角度有不同的划分方式.按应用类别,有仿真云.游戏云.视频云等.按行业划分,有政务云.警务云.教育云等,例如政务云,主要是服务于政府部门 .按使用场景,有私有云.公有云和混合云.私有云就是自建自用:公有云就是供应商建,客户购买上面的服务:混合云就是既有自己的私有云,同时也购买一部分的公有云服务,然后私有云.公有云通过网

华为云学院 华为物联网平台

华为云学院:https://edu.huaweicloud.com/programs/ 华为物联网平台:https://developer.huawei.com/ict/cn/site-oceanconnect-next 原文地址:https://www.cnblogs.com/freeliver54/p/10352980.html