hadoop2.2.0安装笔记

NameNode 192.168.1.122  hadoop/hadoop

VM  192.168.1.123

DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop

DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop

一、在所有机器上安装openssh-server

sudo apt-get install openssh-server

如果没有找到openssh-server,请先执行sudo apt-get update更新

安装完openssh-server之后,就可以使用ssh和xftp进行远程登录与上传文件了

二、增加hadoop相关用户与用户组

sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop

给hadoop用户添加权限,打开/etc/sudoers文件

sudo vim /etc/sudoers

增加

hadoop ALL=(ALL:ALL) ALL

三、配置网络映射

vim /etc/hosts

加入

192.168.1.122 NameNode1
192.168.1.124 DataNode1
192.168.1.125 DataNode2

重启网络,

sudo /etc/init.d/networking restart

相应的在各个节点中都加入这个映射配置

四、安装JDK环境

下载jdk-7u60-linux-i586.tar.gz

解压,并把解压后的文件夹移动到/use/java下

tar -xzf jdk-7-linux-i586.tar.gz

mv JDK文夹 目标地址

打开/etc/profile增加如下脚本

export JAVA_HOME=/usr/java/jdk1.7.0_60
export JRE_HOME=/usr/java/jdk1.7.0_60/jre
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/lib/native:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

使新的配置立即生效 source /etc/profile

如果出现找不到目录之内的,可以先查看路径是否正确,如果是62位系统,而当前安装的是32位的JDK,需安装32位的运行库

sudo apt-get install ia32-libs

五、配置ssh免验证登录

切换到hadoop用户

进入/home/hadoop/.ssh目录(如果没有,新建之)

ssh-keygen -t rsa

之后一路回车(产生秘钥)

在所有的NodeData中也执行ssh-keygen -t rsa,把生成的.pub文件拷到NameNode1上

scp  ~/.ssh/id_rsa.pub [email protected]:~/.ssh/datanode1.pub

在NameNode服务器把所有服务器的公钥加入到用于认证的公钥文件:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/datanode1.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/datanode2.pub >> ~/.ssh/authorized_keys

对authorized_keys进行授权

chmod 600 ~/.ssh/authorized_keys

再将NameNode的授权文件authorized_keys复制到到其他的机器上:

scp authorized_keys [email protected]:~/.ssh/

注意:此处需要设置.ssh目录为700权限 .ssh/下所有文件为600权限

六、安装hadoop

下载hadoop2.2.0 并解压到/home/hadoop/用户的目录下

tar -xzf hadoop-2.2.0.tar.gz

进入hadoop2.2.0目录,新建tmp目录 mkdir tmp

七、配置hadoop

进入namenode1的hadoop2.2.0目录,修改hadoop-env.sh与yarn-env.sh文件

cd /home/hadoop/hadoop-2.2.0/etc/hadoop

vim hadoop-env.sh,修改

export JAVA_HOME = ${JAVA_HOME}

export JAVA_HOME=/usr/java/jdk1.7.0_60

在同一路径下找 core-site.xml,修改它在 < configuration >中添加:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode1:9000/</value>
        <description></description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.2.0/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
</configuration>

同一路径下修改 mapred-site.xml因为缺省是没有这个文件的,要用模板文件造一个,命令为:

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml加入

<configuration>
 
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final>
    </property>
</configuration>

~

同一路径下修改 hdfs-site.xml, 在 < configuration >中添加:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop-2.2.0/dfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop-2.2.0/dfs/data</value>
    </property>
</configuration>

配置文件yarn-site.xml内容

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>namenode1</value>
    </property>
</configuration>

在主节点namenode1上将上面配置好的程序文件,复制分发到各个从节点上:

scp -r /home/hadoop/hadoop-2.2.0 [email protected]:/home/hadoop/
scp -r /home/hadoop/hadoop-2.2.0 [email protected]:/home/hadoop/

八、启动HDFS集群

经过上面配置以后,可以启动HDFS集群。

为了保证集群启动过程中不会出现问题,需要手动关闭每个节点上的防火墙,执行如下命令:

sudo service iptables stop

或者永久关闭防火墙:

sudo chkconfig iptables off
sudo chkconfig ip6tables off

在主节点namenode1上,首先进行文件系统格式化操作,执行如下命令:

hadoop namenode -format

然后,可以启动HDFS集群,执行如下命令:

start-all.sh

在node1(node2)上面运行jps,如果有DataNode、NodeManager二个进程,说明node1(node2)安装好了。

hadoop2.2.0安装笔记

时间: 2024-10-11 04:34:13

hadoop2.2.0安装笔记的相关文章

Hadoop2.6.0安装 — 集群

文 / vincentzh 原文连接:http://www.cnblogs.com/vincentzh/p/6034187.html 这里写点 Hadoop2.6.0集群的安装和简单配置,一方面是为自己学习的过程做以记录,另一方面希望也能帮助到和LZ一样的Hadoop初学者,去搭建自己的学习和练习操作环境,后期的 MapReduce 开发环境的配置和 MapReduce 程序开发会慢慢更新出来,LZ也是边学习边记录更新博客,路人如有问题欢迎提出来一起探讨解决,不足的地方希望路人多指教,共勉! 目

Hadoop-2.4.0安装和wordcount执行验证

Hadoop-2.4.0安装和wordcount执行验证 下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行 系统自带的WordCount样例来验证服务正确性的步骤. 建立文件夹 /home/QiumingLu/hadoop-2.4.0,以后这个是hadoop的安装文件夹. 安装hadoop-2.4.0,解压hadoop-2.4.0.tar.gz到文件夹 /home/QiumingLu/hadoop-2.4.0就可以 [[email protected]

Hadoop2.2.0安装过程记录

1    安装环境1.1    客户端1.2    服务端1.3    安装准备    2    操作系统安装2.1.1    BIOS打开虚拟化支持2.1.2    关闭防火墙2.1.3    安装VNC3    JAVA安装    3.1    配置目的3.2    配置过程3.3    结果验证4    主机名配置4.1    配置目的4.2    配置过程4.3    结果验证5    增加hadoop用户5.1    配置目的5.2    配置过程5.3    结果验证6    Had

hadoop2.2.0安装需要注意的事情

今天在安装hadoop2.2.0时遇到若干问题,解决这些问题有些心得,记录下来以备不时之需. 问题1.master和slave之间不能相互ssh免密码登陆. 问题表象此处略过,直接说解决办法: 1.查看.ssh 目录权限是否正确.700.600 经测试都没有问题. 2.查看.ssh 目录里面文件权限是否正确.最好600.因为ssh服务需要保证此部分文件不能有篡改的风险. 3.删除id_rsa.pub文件,因为ssh登陆到对端时,对端若存在id_rsa.pub文件,则优先使用这个文件进行公钥验证,

Hadoop2.6.0安装—单机/伪分布

目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止Hadoop 作者: vincent_zh时间:2016-10-16 出处:http://www.cnblogs.com/vincentzh/p/5967274.html 声明:本文以学习.研究和分享为主,如需转载,标明作者和出处,非商业用途! 环境准备 此处准备的环境是Virtual Box虚拟机

Hadoop2.6.0学习笔记(三)HDFS架构

鲁春利的工作笔记,谁说程序员不能有文艺范? HDFS Architecture见: http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 或下载的tar包解压后的 hadoop-2.6.0/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 官方给出的架构为:

linux上hadoop2.4.0安装配置

1 环境准备 安装java-1.6(jdk) 安装ssh 1.1 安装jdk (1)下载安装jdk 在/usr/lib下创建java文件夹,输入命令: cd /usr/environment mkdir java 输入命令: sudo apt-get install sun-java6-jdk 下载后执行安装文件 (2)配置环境变量 输入命令: sudo gedit /etc/environment 将如下内容加入其中: JAVA_HOME=/usr/lib/java/jdk1.6.0_45 P

CentOS7+LNMP 安装Zabbix3.0 安装笔记

转载 自 http://blog.csdn.net/asionliang/article/details/51733833 从网上看过N篇教程,小白编译各种出错,无奈选择LNMP一键安装包,解决所有问题.感谢lnmp.org的lamp一体包,现已成功安装,做个笔记,以便后查. 参考: http://www.cnblogs.com/swordxia/p/5591712.html 1.配置防火墙 [root~]# firewall-cmd --permanent --zone=public --ad

Redhat hadoop2.7.2安装笔记

本次安装是在windows7环境下安装redhat虚拟机进行的,所须要的软件例如以下: VirtualBox-5.0.16-105871-Win.exe rhel-server-5.4-x86_64-dvd.iso 首先安装虚拟机软件,然后在此基础上安装redhat.安装redhat的时候记得关闭防火墙还有其他的一些服务都disabled掉. 首先在windows7上开一个共享文件夹,将例如以下软件放入共享文件夹: jdk-7u71-linux-x64.tar.gz hadoop-2.7.2.t