Hadoop五个进程的作用和联系

1.NameNode:

相当于一个领导者,负责调度 ,比如你需要存一个1280m的文件如果按照128m分块 那么namenode就会把这10个块(这里不考虑副本)分配到集群中的datanode上并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。它主要维护两个map 一个是文件到块的对应关系 一个是块到节点的对应关系。

2. secondarynamenode:

它是namenode的一个快照,会根据configuration中设置的值来决定多少时间周期性的去cp一namenode,记录namenode中的metadata及其它数据

3. NodeManager(NM):

1、是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点

2、包括与ResourceManger保持通信,监督Container的生命周期管理,

3、监控每个Container的资源使用(内存、CPU等)情况,追踪节点健

4、康状况,管理日志和不同应用程序用到的附属服务(auxiliary service)

4.DataNode:

a.DataNode的需要完成的首要任务是K-V存储

b.完成和namenode 通信 ,这个通过IPC 心跳连接实现,此外还有和客户端 其它datanode之前的信息交换。

c.完成和客户端还有其它节点的大规模通信,这个需要直接通过socket 协议实现。

5.ResourceManager:

在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。

a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。

b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器

时间: 2024-10-12 19:12:58

Hadoop五个进程的作用和联系的相关文章

Android学习笔记—第五章 进程与线程

第五章 进程与线程 进程:一个应用程序就是一个进程 (1)进程的优先级: Foreground Process 前台进程 a. 当前用户正在操作的Activity所在的进程 b. 绑定了当前用户操作的Activity的service所在的进程 c. 通过调用了startForeground()方法提升优先级的service所在的进程 d. 正在调用onCreate().onStart().onDestory()方法的service所在的进程 e. 正在调用onReceiver()方法的Broad

什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么

什么是Zookeeper,Zookeeper的作用是什么,它与NameNode及HMaster如何协作?在没有接触Zookeeper的同学,或许会有这些疑问.这里给大家总结一下. 一.什么是Zookeeper  ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) . 蜜蜂(Hive) . 小猪(Pig)  的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei  等项目中都采用到了 Zookeeper.ZooKeeper是一个分

第五课 进程管理

unix_c_05.txt================第五课 进程管理================一.基本概念------------1. 进程与程序~~~~~~~~~~~~~1) 进程就是运行中的程序.一个运行着的程序,可能有多个进程.进程在操作系统中执行特定的任务.2) 程序是存储在磁盘上,包含可执行机器指令和数据的静态实体.进程或者任务是处于活动状态的计算机程序.2. 进程的分类~~~~~~~~~~~~~1) 进程一般分为交互进程.批处理进程和守护进程三类.2) 守护进程总是活跃的

Android五个进程等级(转)

Android五个进程等级 1.前台进程(Foreground process): 用户当前工作所需要的.一个进程如果满足下列任何条件被认为是前台进程: 正运行着一个正在与用户交互的活动(Activity对象的onResume()方法已经被调用). 寄宿了一个服务,该服务与一个与用户交互的活动绑定. 有一个Service对象执行它的生命周期回调(onCreate().onStart().onDestroy()). 有一个BroadcastReceiver对象执行他的onReceive()方法.

hadoop启动守护进程报JAVA_HOME is not set and could not be found

hadoop启动守护进程 sbin/start-dfs.sh 报如下错误:JAVA_HOME is not set and could not be found 解决办法(JAVA_HOME修改为具体的路径):vim etc/hadoop/hadoop-env.sh

hadoop详细了解5个进程的作用

1.job的本质是什么?2.任务的本质是什么?3.文件系统的Namespace由谁来管理,Namespace的作用是什么?4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么?5.Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,为什么?6.客户端读写某个数据时,是否通过NameNode?7.namenode,datanode,Namespace image,Edit log之间的关系是什

附加进程的作用→_→

作用一:调试已发布的网站. 例如:我们将网站部署到IIS上面了,然后我们想调试.这时可以在 vs中打上断点,然后将运行的网站附加到进程,即可调试. 作用二:调试 启动时选择“开始执行(不调试的)”.这时我们可以打上断点,然后将IIS Express附加到进程即可. 引入CSDN坛友的一句话:一般的调试是程序运行之前就先启动调试,类似从汽车站上汽车. 附加到进程(Attach to process)就是运行的程序,附加上去调试器,转入调试状态.类似汽车开过来扒车.

"hadoop namenode -format"命令的作用和影响的文件

在hadoop部署好了之后是不能马上应用的,而是对配置的文件系统进行格式化.这里的文件系统,在物理上还未存在,或者用网络磁盘来描述更加合适:还有格式化,并不是传统意义上的磁盘清理,而是一些清除与准备工作. namemode是hdfs系统中的管理者,它负责管理文件系统的命名空间,维护文件系统的文件树以及所有的文件和目录的元数据,元数据的格式如下: 同时为了保证操作的可靠性,还引入了操作日志,所以,namenode会持久化这些数据到本地.对于第一次使用HDFS时,需要执行-format命令才能正常使

hadoop(五) - 分布式计算利器MapReduce加强

一. Partitioner是partitioner的基类,如果需要定制partitioner也需要继承该类. public class DataCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJarByClass(DataCount.class);