大数据入门学习之Hadoop技术优缺点

(1)Hadoop具有按位存储和处理数据能力的高可靠性。

(2)Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。

(3)Hadoop能够在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。

(4)Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。

.在入门学习大数据的过程当中有遇见学习,行业,缺乏系统学习路线,系统学习规划,欢迎你加入我的大数据学习交流裙:529867072 ,裙文件有我这几年整理的大数据学习手册,开发工具,PDF文档书籍,你可以自行下载。

Hadoop的缺点

(1)Hadoop不适用于低延迟数据访问。

(2)Hadoop不能高效存储大量小文件。

(3)Hadoop不支持多用户写入并任意修改文件。

Hadoop的核心组件

Hadoop自诞生以来,主要出现了Hadoop1、Hadoop2、Hadoop3三个系列多个版本。

HDFS和MapReduce是Hadoop1的核心组件,Hadoop生态圈里的很多组件都是基于HDFS和MapReduce发展出来的。在继Hadoop1之后出现了Hadoop2,Hadoop2在Hadoop1的基础上做了改进。相比Hadoop1,Hadoop2的三大核心组件分别是HDFS、MapReduce、Yarn。目前市面上绝大部分企业使用的是Hadoop2,本书使用的是Hadoop2.7.3这一版本。

Hadoop2的一个公共模块和三大核心组件组成了四个模块,简介如下。

(1)HadoopCommon:为其他Hadoop模块提供基础设施。

(2)HDFS:具有高可靠性、高吞吐量的分布式文件系统。

(3)MapReduce:基于Yarn系统,分布式离线并行计算框架。

(4)Yarn:负责作业调度与集群资源管理的框架。

原文地址:https://blog.51cto.com/14296550/2405203

时间: 2024-08-01 10:58:01

大数据入门学习之Hadoop技术优缺点的相关文章

大数据入门学习路线分享,请大家收下

大数据的学习技术点Hadoop核心(1) 分布式存储基石:HDFSHDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode.数据写入与读取过程.数据复制.HA方案.文件类型. HDFS常用设置 Java API代码演示(2) 分布式计算基础:MapReduceMapReduce简介.编程模型.Java API 介绍.编程案例介绍.MapReduce调优(3) Hadoop集群资源管家:YARNYARN基本架构 资源调度过程 调度算法 YARN上的计算框架离线计算(

成都0基础学习hadoop怎么学?怎么进行大数据入门学习

学hadoop需要什么基础?没有基础怎么学习hadoop?怎么学习大数据?Hadoop作为大数据工业中的主引擎,Hadoop就像是大数据世的一把钥匙,想要进入数据世界,首先你得显得得到这把钥匙,才能打开大门.那么科多大数据带你来看看. 学hadoop需要什么基础?Hadoop是一个分布式计算架构,更重要的是它是一个可扩展的生态系统,像IBM,EMC,Amazon,微软,甲骨文等大型IT公司都已经有了基于Hadoop的商业化大数据产品.虽然现在还有比Hadoop更为先进的分布式架构(Dremel,

大数据入门学习必读好书推荐,请收藏!

身处于一个大数据时代,大数据无疑是近期最时髦的词汇了. 不管是云计算.社交网络,还是物联网.移动互联网和智慧城市,都要与大数据搭上联系. 随着云计算.移动互联网和物联网等新一代信息技术的创新和应用普及.学习大数据,除了网课,一些经典的技术书籍是非常实用且有帮助的. 为了跟上技术更迭的节奏,不落人后,最好的方式是继续刷新自己的知识,同时保持上手的经验.在这行业中要取得成功,需要完美的项目经验和技能组合.尽管网上有大量的资源,我们仍要专门推荐一些好的实体书籍. 大数据书单 <Machine Lear

大数据入门第一课 Hadoop基础知识与电商网站日志数据分析

var link="www.marenzy.top"//完整视频资源获取地址,复制链接在浏览器打开 var vx="aishangit666"//如链接失效可添加微信 本课程从Hadoop核心技术入手,以电商项目为依托,带领你从0基础开始上手,逐步掌握大数据核心技术(如:HDFS.YARN.MapReduce以及Hive),并使用这些技术进行实战,最终完成电商行为日志分析项目,让你轻松入门大数据! 物超所值的精品课程,只懂Java基础也能轻松入门大数据 知识覆盖全面

原 大数据入门学习,你要掌握这些技能

小编将此文献给对数据有热情,想长期从事此行业的年轻人,希望对你们有所启发,并快速调整思路和方向,让自己的职业生涯有更好的发展. 根据数据应用的不同阶段,本文将从底层到最终应用讨论这些数据人员的必要技能. 1.大数据平台 目前,它非常流行,数据源,各种酷的新技术,构建Hadoop,蜂巢,星火,Kylin,德鲁伊,Copy~,如果你想了解Java,很多平台都是用Java开发的. 目前,许多企业已经收集数据.对于传统的业务数据,传统的数据是完全足够的.但是对于用户行为和点击行为或者许多非结构化数据,如

大数据入门,到底要怎么学习大数据?

很多人都知道大数据很火,就业很好,薪资很高,想往大数据方向发展.但该学哪些技术,学习路线是什么样的呢? 其实就是想告诉你的大数据的三个发展方向,平台搭建/优化/运维/监控.大数据开发/设计/架构.数据分析/挖掘.请不要问我哪个好学,哪个钱多. 先说一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化.非结构化文本.日志.视频.图片.地理位置等: 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来: 处理时效性高,海量数据的处理需求不再局限在离线计算

大数据入门:各种大数据技术介绍

转自:http://www.aboutyun.com/thread-7569-1-1.html 大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言.我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性

想学习大数据却搞不懂Hadoop?阿里云工程师带你三步解读Hadoop!

一.什么是Hadoop? Google发表了两篇论文:描述如何以分布式方式存储海量数据的Google文件系统和描述如何处理大规模分布式数据的MapReduce:大型集群上的简化数据处理.受这两篇论文的启发,DougCutting实现了这两篇基于OSS(开源软件)的论文的原则,Hadoop诞生了. Hadoop是一个用于分布式存储和处理大型数据的开源平台.Hadoop作为一个大规模的分布式数据处理平台,已经成为许多程序员的重要技能. 二.Hadoop能做什么? 大数据时代已经到来,给我们的生活.工

大数据挑战与NoSQL数据库技术pdf

下载地址:网盘下载 内容简介 编辑 <大数据挑战与nosql数据库技术>对大数据时代面临的挑战,以及nosql数据库的基本知识做了清晰的阐述,有助于读者整理思路,了解需求,并更有针对性.有选择地深入学习相关知识.[1] 目录 编辑 第1章概论1 1.1引子2 1.2大数据挑战3 1.3大数据的存储和管理5 1.3.1并行数据库5 1.3.2NoSQL数据管理系统6 1.3.3NewSQL数据管理系统8 1.3.4云数据管理11 1.4大数据的处理和分析11 1.5小结13 参考文献13 理论篇