Hadoop2的简单安装

---恢复内容开始---

前面花了很多时间来介绍hadoop1的安装,随着hadoop的发展,hadoop2的应用也越来越普及,hadoop2解决了hadoop1中的很多问题,比如单点故障,namenode容量小的问题。

我们先来安装最简单的版本

Hadoop 版本:2.2.0

OS 版本: Centos6.4

Jdk 版本: jdk1.6.0_32

环境配置


















机器名

Ip地址

功能

Hadoop1

192.168.124.135

NameNode, DataNode,

SecondaryNameNode

ResourceManager

Hadoop2

192.168.124.136

DataNode, NodeManager

Hadoop3

192.168.124.137

DataNode, NodeManager

安装

OS安装(见hadoop1)

创建用户和组(见hadoop1)

配置ssh(见hadoop1)

安装 jdks和hadoop

使用FileZilla将hadoop-2.2.0上传到hadoop1,hadoop2,hadoop3

然后加压缩

tar xzvf hadoop-2.2.0.tar.gz

配置(与hadoop1的配置挺像)

vi etc/hadoop/hadoop-env.sh 修改jdk位置
export
JAVA_HOME=/home/hadoop/jdk1.6.0_32

vi etc/hadoop/mapred-env.sh修改jdk位置

export JAVA_HOME=/home/hadoop/jdk1.6.0_32

vi etc/hadoop/yarn-env.sh修改jdk位置

export JAVA_HOME=/home/hadoop/jdk1.6.0_32

vi etc/hadoop/core-site.xml

<configuration>

< property>

< name>hadoop.tmp.dir</name>

<value>/home/hadoop/repo1/tmp</value>

< description>A base for
other temporary directories.</description>

< /property>

< property>

< name>fs.defaultFS</name>

< value>hdfs://hadoop1:9000</value>

< /property>

</configuration>

vi etc/hadoop/hdfs-site.xml

<configuration>

< property>

< name>dfs.replication</name>

< value>2</value>

< /property>

< property>

< name>dfs.namenode.name.dir</name>

<value>/home/hadoop/repo1/name</value>

< /property>

< property>

< name>dfs.datanode.data.dir</name>

<value>/home/hadoop/repo1/data</value>

< /property>

</configuration>

vi etc/hadoop/yarn-site.xml

<configuration>

< property>

< description>the valid
service name</description>

< name>yarn.nodemanager.aux-services</name>

< value>mapreduce_shuffle</value>

< /property>

< property>

< description>The hostname of
the RM.</description>

< name>yarn.resourcemanager.hostname</name>

< value>hadoop1</value>

< /property>

</configuration>

vi etc/hadoop/mapred-site.xml

<configuration>

< property>

< name>mapreduce.framework.name</name>

< value>yarn</value>

< /property>

</configuration>

vi etc/hadoop/slaves

hadoop1

hadoop2

hadoop3

格式化namenode

在hadoop1上运行:bin/hdfs namenode -format -clusterid mycluster

启动hadoop集群

cd /home/hadoop/hadoop-2.2.0

sbin/start-all.sh

从图上可以看出,先启动namenode,再启动datanode, 再启动secondarynamenode, 再启动resourcemanger,
最后启动nodemanager。

使用jps查看启动的进程

在hadoop1上运行jps

在hadoop2上运行jps

在hadoop3上运行jps

很显然,NameNode, DataNode, SecondaryNameNode, JobTracker, TaskTracker都已启动了

查看hadoop集群状态

bin/hadoop dfsadmin -report

Hadoop提供了web页面的接口

测试一下mapred的程序,我们运行hadoop自带的wordcount

创建一个输入目录:

bin/hdfs dfs -mkdir /user/hadoop/input

上传一些文件

bin/hdfs dfs -copyFromLocal  etc/hadoop/* /user/hadoop/input/

看一下文件

bin/hdfs dfs -ls /user/hadoop/input

启动mapred程序

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /user/hadoop/input
/user/hadoop/output

我们还发现一个事实,在虚拟机环境中运行yarn框架下的mapreduce程序比传统框架中的mapreduce慢一些,因为节点的交互变的更多。

在提交wordcount任务后,我们使用jps看看yarn是怎么运行mapreduce任务的,他在hadoop3上启动一个MRAppMaster,然后调度很多YarnChild,在传统的mapreduce框架下,通常同时最多只能运行4个task,但是在yarn框架下,没有这种限制。Yarn中的ResourceManager会根据节点的性能来合理的分配。

hadoop1运行jps

hadoop2运行jps

hadoop3运行jps

时间: 2024-10-25 20:43:39

Hadoop2的简单安装的相关文章

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目

在hadoop2.2上安装hive

折腾了大半天终于把hive安装在hadoop2.2上了,为了今后有可查阅的资料,这里记录下整个过程,如有不对的地方,敬请拍砖!(安装hive要稍微简单一点,因为只需要部署在一台机器上就可以了) 下载:hive-0.9.0.tar.gz 解压到某路径中, 首先,将解压出来的mysql-connector-java-5.1.22-bin.jar复制到/hive下的lib路径里 设置环境变量,修改/etc/profile HIVE_HOME=/opt/hive-0.13.1 HADOOP_CONF_D

Hadoop2的FN安装(federated namespace)

尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN.这项技术可以解决namenode容量不足的问题.它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace. 下面是我们的安装信息 Hadoop 版本:2.2.0 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 机器配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 NameNode, DataNode, Resource

Hadoop2的HA安装(high availability):nfs+zookeeper

前面介绍过hadoop的简单安装和FA安装,在这里将介绍几种hadoop2中HA(高可用性)安装,HA技术使hadoop不再存在单点namenode的故障. 先来第一种:nfs+zookeeper Hadoop 版本:2.2.0 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 环境配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 NameNode, DataNode, ResourceManager, NodeManager Zookeepe

Hadoop2.2.0安装过程记录

1    安装环境1.1    客户端1.2    服务端1.3    安装准备    2    操作系统安装2.1.1    BIOS打开虚拟化支持2.1.2    关闭防火墙2.1.3    安装VNC3    JAVA安装    3.1    配置目的3.2    配置过程3.3    结果验证4    主机名配置4.1    配置目的4.2    配置过程4.3    结果验证5    增加hadoop用户5.1    配置目的5.2    配置过程5.3    结果验证6    Had

Hadoop2的HA安装(high availability):JournalNode+ zookeeper

前面介绍过使用NFS+zookeeper来解决namenode单点失败问题,因为NFS可能也会存在单点问题,所以hadoop提供了一种叫做JournalNode技术,这项技术可以在JournalNode节点间共享数据 我们来介绍这一种技术:JournalNode+ zookeeper Hadoop 版本:2.2.0 OS 版本: Centos6.4 Jdk 版本: jdk1.6.0_32 环境配置 机器名 Ip地址 功能 Hadoop1 192.168.124.135 NameNode, Dat

Apache Hadoop2.x 边安装边入门

完整PDF版本:<Apache Hadoop2.x边安装边入门> 目录 第一部分:Linux环境安装 第一步.配置Vmware NAT网络 一. Vmware网络模式介绍 二. NAT模式配置 第二步.安装Linux操作系统 三. Vmware上安装Linux系统 四.设置网络 五.修改Hostname 六.配置Host 七.关闭防火墙 八.关闭selinux 第三步.安装JDK 九.安装Java JDK 第二部分:Hadoop本地模式安装 第四步. Hadoop部署模式 第五步.本地模式部署

Centos6.5 x64简单安装MongoDB

Centos6.4 x64简单安装MongoDB 一.下载MongoDB2.4.9版 下载MongoDB wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz 解压MongoDB tar -zxvf mongodb-linux-x86_64-2.4.9.tgz -C /usr/src 移动MongoDB目录 mv /usr/src/mongodb-linux-x86_64-2.4.9 /usr/local/mong

Hadoop-2.4.0安装和wordcount执行验证

Hadoop-2.4.0安装和wordcount执行验证 下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行 系统自带的WordCount样例来验证服务正确性的步骤. 建立文件夹 /home/QiumingLu/hadoop-2.4.0,以后这个是hadoop的安装文件夹. 安装hadoop-2.4.0,解压hadoop-2.4.0.tar.gz到文件夹 /home/QiumingLu/hadoop-2.4.0就可以 [[email protected]