关于hadoop学习的思考(一) —— 小的知识点的总结

一、对于CDH的小总结:

CDH:是Cloudera公司在Apache开源项目hadoop的基础上发型的,共有五个版本
前两个已不再更新,最经的两个分别是CDH4(基于hadoop2.0.0版本演化而来)、
CDH5(每隔一段时间就会有更新)

CDH与Apache hadoop的区别:
1.CDH的版本更加清晰,现在只有两个版本CDH3(基于hadoop1.0)和
CDH4(基于hadoop2.0),hadoop的版本相对较混乱,CDH比Apache hadoop
在兼容性、安全性、稳定性上有所增强;

2.CDH在hadoop基础上加入了很多的Patch和修复了BUG,更新速度比hadoop要快。

3.安全,CDH支持kerberos安全认证,Apache hadoop只支持简单的用户名匹配认证。

4.CDH的安装方式有四种:YUM/Apt包、Tar包、RPM包、Cloudera Manager
而Apache hadoop只支持Tar安装。

二、SecondaryNameNode的作用:

1.SecondaryNameNode是一个NameNode的快照,它会定期的根据配置:
fs.checkpoint.period,默认值是3600秒,去查看备份NameNode节点上的
fsimage镜像文件和edits日志文件,并定期对这两个文件进行合并,将
edits文件的控制在一定的大小限度内。fs.checkpoint.size:设置了
edits文件的大小,默认是64M,一旦edits大于这个值的时候回强制执行检查点。

2.SecondaryNameNode作为一个检查点会保存最新的检查点的目录结构信息
与NameNode上的目录结构信息是一致的,以前的fsimage和的edits会自动丢失。

3.当NameNode意外挂掉的时候,需要人为手动的将SecondaryNameNode检查点的信息
复制到NameNode节点:具体操作如下:

前提:目录已经丢失
     a.把SecondaryNameNode节点中 ${fs.checkpoint.dir} 的所有内容拷贝到
NameNode节点的 ${fs.checkpoint.dir} 目录中
     b.创建一个空的文件夹dfs.namenode.name.dir所指向的文件夹;
     c.启动NameNode:hadoop namenode -importCkeckpoint
(该步会从${fs.checkpoint.dir}中恢复到${dfs.namenode.name.dir}中,
并启动namenode)

三、根据Yarn的架构描述一下一个资源的请求流程:

1.Nodemanager向ResourceManager注册各个机器的资源;
     2.客户端Client向ResourceManager提交作业;
     3.ApplicationMaster(位于其中的一个NodeManager上)向ResourceManager请
求资源,并判断NodeManager上现有的资源是否满足需求;
     4.ResourceManager以Container的形式将资源发送给ApplicationMaster;
     5.ApplicationMaster将得到的资源分发给NodeManager,各个NodeManager根据
Container,启动一定数量的Task运行作业;
     6.Container(包含了CPU,硬盘,环境配置,启动命令等信息)作为资源单元保证了作业的隔离运行。
     7.各个Task定期的通过心跳机制给ApplicationMaster汇报任务的完成状况。最
终直至任务完成,ApplicaMaster将完成信息返回给ResourceManager。

时间: 2024-11-06 19:44:59

关于hadoop学习的思考(一) —— 小的知识点的总结的相关文章

关于python的一些小的知识点-2

距离上一次写文章已经好多天了,今天,我还是继续说说我学习python的一些小的知识点 python列表采用的是自动的内存管理模式 注意list.clear()和del(list)区别 range()在python中返回的是一个列表  在python中返回的是一个可迭代对象 列表中包含的元素值的引用 删去列表中重复数的方法为set() 切片可以原地修改列表中的值 切片返回的是里热表的浅复制 enumerate函数对字符串和字典同样有效 列表推导式可以解决很多的小问题 像过滤元素,求100以内的素数

hadoop 学习笔记:mapreduce框架详解

hadoop 学习笔记:mapreduce框架详解 开始聊mapreduce,mapreduce是hadoop的计算框架,我 学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能是我做技术研究的 思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习 hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不

【Big Data - Hadoop - MapReduce】hadoop 学习笔记:MapReduce框架详解

开始聊MapReduce,MapReduce是Hadoop的计算框架,我学Hadoop是从Hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不可分,所以当我写分布式文件系统时候,总是感觉自己的理解肤浅

Hadoop学习笔记:MapReduce框架详解

原文出处: 夏天的森林 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不可分,所以当我写分布式文件系统时候

hadoop 学习笔记:mapreduce框架详解(转 http://www.cnblogs.com/sharpxiajun/p/3151395.html)

开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不可分,所以当我写分布式文件系统时候,总是感觉自己的理解肤浅

Hadoop学习笔记(6) ——重新认识Hadoop

Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果.现是得开始稍微更深入地了解hadoop了. Hadoop包含了两大功能DFS和MapReduce, DFS可以理解为一个分布式文件系统,存储而已,所以这里暂时就不深入研究了,等后面读了其源码后,再来深入分析. 所以这里主要来研究一下MapReduce. 这样,我们先来看一下MapReduce的思想来源: alert("I'd like some Spaghetti!

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclipse方便. 下载 进入官网:http://eclipse.org/downloads/. 找到相应的版本进行下载,我这里用的是eclipse-SDK-3.7.1-linux-gtk版本. 解压 下载下来一般是tar.gz文件,运行: $tar -zxvf eclipse-SDK-3.7.1-linu

Hadoop学习笔记_7_分布式文件系统HDFS --DataNode体系结构

分布式文件系统HDFS --DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务. 文件块(block):最基本的存储单位[沿用的Linux操作系统地概念].对于文件内容而言,一个文件的长度大小是size,那么从文件的0偏移开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一个块称一个Block. 与Linux操作系统不同的是,一旦上传了一个小于Block大小的文件,则该文件会占用实际文件大小的空间. 2.进入hdfs-default.xml <prope

hadoop学习笔记——基础知识及安装

1.核心 HDFS  分布式文件系统    主从结构,一个namenoe和多个datanode, 分别对应独立的物理机器 1) NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作.NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责数据块到具体DataNode的映射 2)集群中的DataNode管理存储的数据.负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建删除和复制工作. 3)NameNode是所有