安装hadoop 2.2.0

安装环境为 CentOS 64位系统,

大概分下面几个步奏,

0. 安装JDK
1. 配置SSH
2. 配置/etc/hosts
3. 拷贝hadoop包到没台机器上
4. 修改hadoop配置文件
5. 关闭每台机器的防火墙
6. 格式化namenode
7. 运行hadoop

详细说每个步奏,

0. 安装jdk

下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录

1. 配置SSH

hadoop是master/slaver 结构,配置SSH使得从master上登陆每台slave 无需输入密码
使用 ssh-keygen -t rsa 产生key
拷贝 pub key 到目标机器 ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

2. 配置/etc/hosts

修改每台机器上的/etc/hosts文件中的(ip,主机名)对,添加所有机器到hosts中,可以在master上修改完毕后scp到每台机器

如果是虚拟机主机,运行ifconfig命令会有类似下面这几行,

br0 Link encap:Ethernet HWaddr C8:1F:66:D0:9C:02
inet addr:192.168.5.149 Bcast:192.168.5.255 Mask:255.255.255.0
inet6 addr: fe80::ca1f:66ff:fed0:9c02/64 Scope:Link

这里面的地址也要写到hosts文件中。

3. 拷贝hadoop包到每台机器上

下载hadoop 2.2.0,拷贝到每台机器上,解压到相同的目录。目前官网上只有32位版本。我们自己编译的64位版本。
我们一般放在 ~/hadoop/ 目录下 比如: ~/hadoop/hadoop-2.2.0
修改每台机器的.bashrc_profile文件,加入HADOOP_HOME 环境变量为hadoop根目录

4. 修改hadoop配置文件

下面几个配置文件需要修改(相应的ip需要修改),hadoop2.2.0配置文件在etc/hadoop目录下,

core-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://192.168.5.121:9000</value>
</property>

hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.5.121:10020</value>
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.5.121:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.5.121:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.5.121:8031</value>
</property>

5. 关闭每台机器的防火墙

sudo /etc/init.d/iptables stop

6. 格式化namenode

格式化之前添加所有子节点到主节点etc/hadoop/slaves 文件中,一行一个ip地址(这里不是很准确,并不一定是主节点那台机器)

cd $HADOOP_HOME
bin/hadoop namenode -format

7. 运行hadoop

启动hdfs:sbin/start-dfs.sh
启动yarn:sbin/start-yarn.sh

如果机器很多 可以参考 拷贝ssh公钥到多台服务器上 文中提到的 方法 使用 pssh 批量执行相关命令。

最后可以通过访问 主机地址:50070 查看 HDFS是否启动成功,主机地址:8088 查看yarn是否启动成功。

安装hadoop 2.2.0,布布扣,bubuko.com

时间: 2024-12-21 10:10:40

安装hadoop 2.2.0的相关文章

VMware 虚拟机安装 hadoop 2.6.0 完全分布式集群

最近连着搭了两次hadoop的集群,搭建的时候也碰到了一些问题,因为之前对linux 不熟悉,经常遇到各种问题和命令忘记写,幸亏有度娘谷哥,这里做一个记录 下次使用的时候用的上 计算机的配置 计算机: G3440 3.3G 双核 8G内存 虚拟机: vmware workstation 12 pro 系统: centos6.5 节点: 192.168.133.33 master.hadoop 192.168.1.151 slave1.hadoop 192.168.1.151 slave2.had

CentOS 6.5 伪分布式 安装 hadoop 2.6.0

安装 jdk 1 yum install java-1.7.0-openjdk* 3 检查安装:java -version 创建Hadoop用户,设置Hadoop用户使之可以免密码ssh到localhost 1 su - hadoop 2 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 3 cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys 4 5 cd /home/hadoop/.ssh 6 chmod 600 au

hadoop 2.6.0 安装过程

最近才开始接触hadoop,最先要做的当然是安装hadoop 了,在安装hadoop之前需要作以下的一些准备 一个linux 环境,我使用vmware的虚拟机环境安装了centos 这个请自己百度一下吧,确实是太大了 jdk 1.6 以上的linux安装包 hadoop 2.6.0的安装包 注意,我使用的64位的linux,所以用的Java是64位的安装包 http://pan.baidu.com/s/1kT3PYLL hadoop 集群支持三种模式 1.单机模式 2.伪分布是模式 3.完全分布

hadoop 2.5.0安装和配置

安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http://www.cnblogs.com/stardjyeah/p/4641524.html 3.linux静态ip配置,教程在 http://www.cnblogs.com/stardjyeah/p/4640691.html 准备好以后就可以进行hadoop 2.5.0安装和配置了 1)        

Ubuntu14.0上编译安装Hadoop

Ubuntu14.0上编译安装Hadoop 环境: hadoop-2.5.0.tar hadoop-2.5.0-src.tar jdk-7u71-linux-x64 protobuf-2.5.0.tar Maven3.0 安装步骤: 1 安装jdk ,配置环境变量 2 安装依赖包 3 安装maven 4安装protobuf-2.5.0.tar 5 编译Hadoop 6 安装hadoop 6.1 单机模式 6.2 伪分布模式 6.3 集群模式 1 安装jdk ,配置环境变量 下载jdk版本:jdk

Ubuntu14.04用apt安装CDH5.1.2[Apache Hadoop 2.3.0]

--------------------------------------- 博文作者:迦壹 博客名称:Ubuntu14.04用apt安装CDH5.1.2[Apache Hadoop 2.3.0] 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=558 转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作! -----------------------------------

CentOS7上Hadoop 2.6.0集群的安装与配置

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45740791 1.CentOS7安装 (1)最小化安装CentOS7 (2)配置网络连接 vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改:BOOTPROTO=static ONBOOT=yes 添加:IPADDR= ipaddress(ip地址) NETMASK=subnetmask(子网掩码) GATEWAY=gateway(网关)

HBASE 0.98版本安装,一步曲:编译HADOOP 2.2.0 x64版本

1.安装JDK 下载JDK 7u55版本,安装JDK和JRE都需要,JDK里面有tools.jar,这个jar包是一定需要的安装在/java上 2.下载Hadoop 2.2.0源代码 wget http://apache.dataguru.cn/hadoop/common/stable/hadoop-2.2.0-src.tar.gz解压缩tar zxvf hadoop-2.2.0-src.tar.gz -C /tmp 3.安装依赖包 yum -y install lzo-devel zlib-d

Hadoop 2.2.0部署安装(笔记,单机安装)

SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & cd .ssh ◎ 创建密码为空的 RSA 密钥对: ssh-keygen -t rsa -P "" ◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中: cat id_rsa.pub >> authorized_keys chmod 6