Hadoop-2.6.0环境搭建
所需资源:hadoop-2.6.0.tar.gz Hadoop-2.6.0-src.tar.gz jdk-8u40-linux-i586.tar.gz
第一步:先安装配置JDK(如果事先有配置好JDK,这步可以略过)
sudo mkdir /usr/lib/jvm
sudo tar zxvf jdk-8u40-linux-i586.tar.gz –C /usr/lib/jvm
修改环境变量(如果没安装vim,可先安装:sudo apt-get install vim)
sudo vim /etc/profile
添加
配置完成后,运行
第二步:安装Hadoop
sudo tar zxvf hadoop-2.6.0.tar.gz(注意不是源码)
创建一个指向Hadoop安装目录的环境变量
sudo vim /etc/profile
添加
安装完成后,运行
第三步:配置SSH
首先安装ssh
sudo apt-get install ssh
然后基于空口令创建一个新SSH密钥,以启用无密码登录
ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
验证
ssh localhost
第四步:配置hadoop的不同模式,默认为本机模式,故无需配置。现在我们配置的是伪分布模式
Hadoop2.6.0的配置文件路径为
(1) 修改配置文件hadoop-env.sh,加入JAVA_HOME
sudo vim hadoop-env.sh
需要给该文件添加执行权限:sudo chmod +X hadoop-env.sh
再让该文件立即生效:source hadoop-env.sh
(2) 修改配置文件yarn-env.sh,加入JAVA_HOME
sudo vim yarn-env.sh
需要给该文件添加执行权限:sudo chmod +X yarn-env.sh
再让该文件立即生效:source yarn-env.sh
(3) 修改配置文件mapred-env.sh,加入JAVA_HOME
sudo vim mapred-env.sh
需要给该文件添加执行权限:sudo chmod +X mapred-env.sh
再让该文件立即生效:source mapred-env.sh
(4) 修改配置文件core-site.xml(里面的configuration都是空的,需要我们添加)
sudo vim core-site.xml
(5) 修改配置文件hfgs-site.xml(里面的configuration都是空的,需要我们添加)
sudo vim hdfs-site.xml
(6) 修改配置文件mapred-site.xml(里面的configuration都是空的,需要我们添加。文件下是mapred-site.xml.template,可以先修改该文件,在复制改名为mapred-site.xml即可)
sudo vim mapred-site.xml
(7) 修改配置文件yarn-site.xml(里面的configuration都是空的,需要我们添加,hadoop2.0以后,将mapreduce在yarn中运行,具体可阅读hadoop权威指南第三版)
sudo vim yarn-site.xml
第五步:启动hadoop并验证
(1) 格式化HDFS文件系统
hadoop namenode –formate
(2) 启动hdfs
可以通过http://localhost:50070查看
(3) 启动yarn(使用jps可以发现localhost启动了ResourceManager进程)