hadoop框架详解

Hadoop学习随笔（参考：http://blog.csdn.net/mobanchengshuang/article/details/78786652）

Hadoop项目主要包括以下四个模块

◆ Hadoop Common: 
为其他Hadoop模块提供基础设施 
◆ Hadoop HDFS: 
一个高可靠、高吞吐量的分布式文件系统 
◆ Hadoop MapReduce: 
一个分布式的离线并行计算框架 
◆ Hadoop YARN: 
一个新的MapReduce框架，任务调度与资源管理

Apache Hadoop起源

◆Apache Lucene 
开源的高性能全文检索工具包 
◆Apache Nutch 
开源的Web搜索引擎 
◆Google三大论文 
MapReduce/GFS/BigTable 
◆Apache Hadoop 
大规模数据处理

一张图了解分布式的好处

HDFS（HDFS即Hadoop Distributed File System分布式文件系统：主要是分布式存储数据）

——————-

HDFS服务功能

◆NameNode（NN）是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。 
◆DataNode（DN）在本地文件系统存储文件块数据，以及块数据的校验和。 
◆Secondary NameNode（SNN） 用来监控HDFS状态的辅助后台程序，每隔一段时间获 取HDFS元数据的快照。

NameNode

◆Namenode 是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 
◆文件操作，NameNode 负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟 文件内容相关的数据流不经过NameNode，只会询问它跟那个DataNode联系，否则 NameNode会成为系统的瓶颈。 
◆副本存放在哪些DataNode上由 NameNode来控制，根据全局情况做出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低带块消耗和读取延时；
◆Namenode 全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。

DataNode

◆一个数据块在DataNode以文件存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳 ；
◆DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息；
◆心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode 的心跳，则认为该节点不可用；
◆集群运行中可以安全加入和退出一些机器。

文件

◆文件切分成块（默认大小128M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3，是在hdfs-site.xml中配置的）； 
◆NameNode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表以及块所在的DataNode等等； 
◆DataNode 在本地文件系统存储文件块数据，以及块数据的校验和。 
◆可以创建、删除、移动或重命名文件，当文件创建、写入和关闭之后不能修改文件内容。

MapReduce计算框架（基于磁盘IO进行迭代，开销较大）

◆将计算过程分为两个阶段：Map和Reduce 
Map阶段并行处理输入数据 
Reduce阶段对Map结果进行汇总 
◆ Shuffle链接Map和Reduce两个阶段（Shuffle通俗的理解就是重新洗牌，打乱原有顺序） 
Map Task将数据写到本地磁盘 
Reduce Task从每个Map Task上读取一份数据 
◆ 仅适合离线批处理 
具有很好的容错性和扩展性 
适合简单的批处理任务 
◆ 缺点明显： 
启动开销大，过多使用磁盘导致效率低下等

YARN服务组件（主要是负责硬件资源的合理调用）

◆ YARN 总体上仍然是Master/Slave 结构，在整个资源管理框架中，ResourceManager 为Master，NodeManager 为Slave。 
◆ ResourceManager 负责对各个NodeManager 上的资源进行统一管理和调度； 
◆ 当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster（主管进程），它负责向ResourceManager 申请资源，并要求NodeManger 启动可以占用一定资源的任务。 
◆ 由于不同的ApplicationMaster 被分布到不同的节点上，因此它们之间不会相互影响。

ResourceManager

◆ 全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配。 
◆ 功能 
- 处理客户端请求 
- 启动/监控ApplicationMaster 
- 监控NodeManager 
- 资源分配与调度

NodeManager

◆ 整个集群有多个，负责单节点资源管理和使用 
◆ 功能：
- 单个节点上的资源管理和任务管理 
- 处理来自ResourceManager的命令 （下文简称RM）
- 处理来自ApplicationMaster的命令 
◆ NodeManager管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。 
◆ 定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态

ApplicationManager

管理一个在YARN 内运行的应用程序的每个实例 
◆ 功能

  • 数据切分
  • 为应用程序申请资源，并进一步分配给内部任务
  • 任务监控与容错

◆ 负责协调来自ResourceManager的资源，幵通过NodeManager监视容器的执行和资源使用（CPU、内存等的资源分配）。

Container(容器)

◆ YARN中的资源抽象，封装某个节点上多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM向AM返回的资源便是用Container表示的。 
◆ YARN 会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。 
◆ 功能

  • 对任务运行环境的抽象
  • 描述一系列信息
  • 任务启动命令
  • 任务运行环境

客户端链接yarn集群进行分布式计算（都是通过端口RPC链接运行）：
----------------------------------
1、client---->master（申请运行job，链接的是RM进程）
2、master---->client(返回jobId和资源地址：提交的jar文件存放地址，配置信息conf地址，每个副本的spilt分配信息)
3、client---->slave03（根据资源地址链接slave节点，上传资源--job.jar/job.conf/job.spilt）
4、client---->master（反馈上传资源完成）
5、master---->slave03(读取之前上传的资源信息，根据资源信息生成job对象，并将job对象放入job队列--master缓存区（job1，job2....）)

------资源分配过程
6、slave01--->master（slave主动链接master去领取自己的job，之间用NodeManage==ResourceManage进程）
7、slave01--->slave03（根据领取的jobId，从资源地址下载job资源信息到本地（尤其是job.jar））
8、slave01--->master（反馈资源下载完成，所有slave都要反馈）

--------master启动MapReduce进程
9、master在slave中寻找负载清闲的节点（例slave02），并在其上启动MRAPPMaster进程，同时slave02上会出现MapReduce进程
10、slave02---->master（申请运行MapReduce进程）

---------master从此开始等待跟踪Task的运行过程
11、master---->slave02（返回Task（一个job有多个Task，一个Task就是一个进程）与地址的映射表--告知哪些节点运行MapTask，哪些运行ReduceTask）
12、slave02--->slave03（链接相应的slave并在其上启动相应的Task）
--------Task进程跑完会将YarnChild进程结束信息反馈给master
13、Task----->master（反馈Task进程（名字叫：YarnChild）运行完毕，所有进程都要反馈）
-------都反馈完毕
14、slave02--->master（反馈job运行完成）
--------master关闭MapReduce进程
15、master--->client（反馈job运行结束--1、环节出错，job运行失败，2、成功运行结束）

YARN资源管理

◆ 资源调度和资源隔离是YARN作为一个资源管理系统，最重要和最基础的两个功能。资源调度由ResourceManager完成，而资源隔离由各个NM实现。 
◆ ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础的保证，这就是所谓的资源隔离。 
◆ 当谈及到资源时，我们通常指内存，CPU和IO三种资源。Hadoop YARN同时支持内存和CPU两种资源的调度。 
◆ 内存资源的多少会会决定任务的生死，如果内存不够，任务可能会运行失败；相比之下，CPU资源则不同，它只会决定任务运行的快慢，不会对生死产生影响。

时间： 2024-08-11 12:13:11

hadoop框架详解的相关文章

hadoop 学习笔记：mapreduce框架详解

hadoop 学习笔记:mapreduce框架详解 开始聊mapreduce,mapreduce是hadoop的计算框架,我 学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能是我做技术研究的 思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习 hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不

Hadoop Pipeline详解[摘抄]

最近使用公司内部的一个框架写map  reduce发现没有封装hadoop streaming这些东西,查了下pipeline相关的东西 Hadoop Pipeline详解 20. Aug / hadoop / 1 Comment 一.说明Hadoop 2.x相比较于1.x有了较大的改变,像MapReduce层面架构以及代码基本上是完全重写的,在HDFS层面加入了HA,Federation等特性,代码更加层次化和易读,同时加入的PB初期可能给阅读带来障碍,熟悉之后就没有太大问题了.Pipelin

Hadoop DistributedCache详解

DistributedCache是Hadoop提供的文件缓存工具,它能够自动将指定的文件分发到各个节点上,缓存到本地,供用户程序读取使用.它具有以下几个特点:缓存的文件是只读的,修改这些文件内容没有意义:用户可以调整文件可见范围(比如只能用户自己使用,所有用户都可以使用等),进而防止重复拷贝现象:按需拷贝,文件是通过HDFS作为共享数据中心分发到各节点的,且只发给任务被调度到的节点.本文将介绍DistributedCache在Hadoop 1.0和2.0中的使用方法及实现原理. Hadoop D

MTK平台LCD驱动框架详解（一）

许多学习嵌入式的进入MTK开发平台,很多东西都会感到很陌生.在MTK平台上你可以简简单单几分钟就点亮一块屏.加上MTK快速开发的节奏,也很少有时间自己整理学习.如果不思进取,不加班加点学习.很容易就慢慢--.这也难怪有些人说MTK造就了一批懒人,毁掉了一批工程师.但其实都是基于linux开发,核心的东西都是一样一样的.我刚入行业,在迷茫之际,自己整理跟踪源码.想慢慢找回自己熟悉的感觉,掌握MTK的整体框架.也希望能给有需要的人带来些帮助.好吧!前话说到这,开始正题. 本文肯定有不少地方会出现错误

jQuery Validate验证框架详解

jQuery校验官网地址:http://bassistance.de/jquery-plugins/jquery-plugin-validation 一.导入js库 <script type="text/javascript" src="<%=path %>/validate/jquery-1.6.2.min.js"></script> <script type="text/javascript" src

【转】jQuery Validate验证框架详解

jQuery校验官网地址:http://bassistance.de/jquery-plugins/jquery-plugin-validation 一.导入js库 <script type="text/javascript" src="<%=path %>/validate/jquery-1.6.2.min.js"></script> <script type="text/javascript" src

iOS 开发之照片框架详解之二 —— PhotoKit 详解（下）

这里接着前文<iOS 开发之照片框架详解之二 —— PhotoKit 详解(上)>,主要是干货环节,列举了如何基于 PhotoKit 与 AlAssetLibrary 封装出通用的方法. 三. 常用方法的封装 虽然 PhotoKit 的功能强大很多,但基于兼容 iOS 8.0 以下版本的考虑,暂时可能仍无法抛弃 ALAssetLibrary,这时候一个比较好的方案是基于 ALAssetLibrary 和 PhotoKit 封装出一系列模拟系统 Asset 类的自定义类,然后在其中封装好兼容 A

iOS 开发之照片框架详解之二 —— PhotoKit 详解（上）

一. 概况 本文接着 iOS 开发之照片框架详解,侧重介绍在前文中简单介绍过的 PhotoKit 及其与 ALAssetLibrary 的差异,以及如何基于 PhotoKit 与 AlAssetLibrary 封装出通用的方法. 这里引用一下前文中对 PhotoKit 基本构成的介绍: PHAsset: 代表照片库中的一个资源,跟 ALAsset 类似,通过 PHAsset 可以获取和保存资源 PHFetchOptions: 获取资源时的参数,可以传 nil,即使用系统默认值 PHAssetCo

(转） shiro权限框架详解06-shiro与web项目整合(上)

http://blog.csdn.net/facekbook/article/details/54947730 shiro和web项目整合,实现类似真实项目的应用 本文中使用的项目架构是springMVC+mybatis,所以我们是基于搭建好的项目进行改造的. 将shiro整合到web应用中 登录 退出 认证信息在页面展现,也就是显示菜单 shiro的过滤器 将shiro整合到web应用中 数据库脚步 sql脚步放到项目中,项目上传到共享的资源中,文章最后给出共享url. 去除项目中不使用shi