Hadoop2.0源码包简介

Hadoop2.0源码包简介

1、解压源码包:

2、目录结构:

hadoop-common-projectHadoop基础库所在目录,如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。

hadoop-mapreduce-projectMapReduce框架的实现,在第一代MR即MRv1中,MapReduce由编程模型(map/reduce)、调度系统(JobTracker和TaskTracker)和数据处理引擎(MapTask和ReduceTask)等模块组成,而MRv2的资源调度功能由新增的YARN完成。其它两个不变,自身仅包含非常简单的任务分配功能。

hadoop-hdfs-projectHadoop分布式文件系统实现,Hadoop1.0中是单个NameNode实现,而Hadoop2.0支持多NameNode,同时解决了NameNode单节点故障。

hadoop-yarn-projectHadoop资源管理系统YARN实现。该系统能够统一管理系统中的资源,并按照一定的策略分配给各个应用进程。

3、Hadoop2.0新增分支YARN的hadoop-yarn-project目录:

hadoop-yarn-apiYARN  API,给出了YARN内容涉及的4个主要RPC协议的JAVA声明和Protocol  Buffers定义。这四个RPC分别是ApplicationClientProtocol、ApplicationMasterProtocol、ContainerManagementProtocol和ResourceManagerAdministrationProtocol。

hadoop-yarn-commonYARN  Common,包含了YARN底层库实现,包括事件库、服务库、状态库、Web界面库等。

hadoop-yarn-applicationsYARN  Applications,包括两个Application编程实例,分别是distributedshell和Unmanaged  AM。

hadoop-yarn-clientYARN  Client,封装了几个与YARN  RPC协议交互相关的库,方便用户开发应用程序。

hadoop-yarn-serverYARN  Server,给出了YARN的核心实现,包括ResourceManager、NodeManager、资源管理器等核心组件的实现。

时间: 2024-08-07 00:17:00

Hadoop2.0源码包简介的相关文章

nginx-1.8.0源码包编译安装

nginx源码包编译安装 1.nginx简介 Nginx ("engine x") 是一个高性能的HTTP和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 服务器. Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行. 2.安装nginx时必须先安装相应的编译工具 [[email protected] ~]# yum -y install gcc gcc-c++ autoconf autom

CentOS 7.0源码包搭建LNMP 实际环境搭建

Centos7+Nginx1.11.7+MySQL5.7.16+PHP7.1.0+openssl-1.1.0c 一.linux 系统限制配置 1.关闭系统防火墙 systemctl stop firewalld.service 关闭防火墙 systemctl disable firewalld.service  禁用防火墙 2.关闭SElinux sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config  setenforce 0 

CentOS 7.0源码包搭建LNMP方法分享(实际环境下)

CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14 一.配置防火墙,开启80端口.3306端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2.安装iptables防火墙 yum ins

MySQL-8.0 源码包方式安装

1)安装Mysql数据库 [[email protected] ~]# rpm -q mysql mysql-server 未安装软件包 mysql 未安装软件包 mysql-server [[email protected] ~]# yum -y install ncurses-devel [[email protected] ~]# rpm -q ncurses-devel ncurses-devel-5.9-14.20130511.el7_4.x86_64 安装配置工具cmake [[em

hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档

相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclipse-plugin-2.5.0插件下载hadoop2.5.1汇总:最新编译 32位.64位安装.源码包.API下载及新特性等 新手指导:hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍 从零教你在Linux环境下(ubuntu 12.04)如何编译hadoo

hadoop2.5发布:最新编译 32位、64位安装、源码包、API以及新特性

hadoop2.5发布:最新编译 32位.64位安装.源码包.API以及新特性 http://www.aboutyun.com/thread-8751-1-1.html (出处: about云开发) 问题导读:1.如何获取Hadoop安装包?2.编译Hadoop过程中,需要注意哪些问题?3.如何寻找API?4.如何获取Hadoop源码? 上述问题有的在本文,有的则在本文链接,感兴趣,可以找找答案 2014年08月06日 Hadoop2.5发布 官网下载地址 对Hadoop2.5进行了编译,编译的

ubutun14.04编译hadoop-2.6.0源码,并生成eclipse项目

1.安装jdk 2. 安装需要的库 sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 3. sudo apt-get install openssh-client sudo apt-get install openssh-server -进入到用户目录运行命令: -ssh-keygen -t rsa -P -cat .ssh/id_rsa.pub >> .

编译hadoop2.2.0源码时报错

编译hadoop2.2.0源码时, mvn install -DskipTests 报错: [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------------------------- [ERROR] /home/test/work/env/hadoop/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth/src/test/java/org/apa

Cobbler 全自动化安装、简介、Web界面管理【附送源码包】

Cobbler简介 Cobbler这个英文翻译过来的意思是补鞋匠,为什么会是补鞋匠的意思,很简单,因为它简单得连补鞋匠都能学会安装系统. Cobbler通过将部署系统所涉及的所有服务集中在一起,来提供一个全自动批量快速建立Linux系统的网络安装环境. 在学习Cobbler之前可以看看PXE无人值守安装系统. Cobbler特点: ·Cobbler支持多种Linux操作系统得快速部署,对PXE.DHCP.HTTP.TFTP.Kiskstart.YUM仓库.电源等进行统一管理 ·Cobbler提供