转发请注明本文链接
准备工作：
VMware-workstation （网络统一设置为桥接）
Xshell或者putty （方便在Windows下进行操作，复制粘贴命令方便，更推荐用第一个，以后不需要输入IP地址和帐号密码了）
FileZilla （传输文件，端口22，使用SFTP协议）
环境为
Centos6.5 X86 minimal
Hadoop1.2.1
jdk-8u73-linux-i586
先配置伪分布式，把伪分布式跑起来再升级为完全分布模式
注：192.168.67.57 是Master节点主机。
以下操作在root用户下进行
一、在linux系统创建目录
mkdir /opt
把hadoop-1.2.1-bin.tar 、jdk-8u73-linux-i586.rpm上传到/opt目录下
在/opt目录下安装hadoop会减少不必要麻烦
二、设置静态ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0
三、关闭防火墙
vi /etc/selinux/config 设置 SELINUX=disabled
此外，输入以下命令
service iptables status --查看防火墙状态
service iptables stop --关闭防火墙
service ip6tables stop --关闭防火墙
chkconfig ip6tables off --设置防火墙开机自关闭
chkconfig iptables off --设置防火墙开机自关闭
chkconfig iptables --list --查看防火墙服务状态列表
chkconfig ip6tables --list --查看防火墙服务状态列表
#iptables 和 ip6tables一样，都是linux防火墙软件，不同的是ip6tables采用的TCP/ip协议为IP6.
四、修改hosts，该主机设置为Master
vi /etc/hosts 添加
192.168.67.57 Master
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=Master
五、 增加用户组，用户
groupadd hadoop
useradd –g hadoop hadoop
passwd hadoop
六、安装java，并且配置java环境
我使用的是rpm安装包，简化安装
rpm -ivh jdk-8u73-linux-i586.rpm
安装目录为 /usr/java/jdk1.8.0_73
将该安装目录复制出来，方便后面配置环境
vi /etc/profile
在最下面加入
export JAVA_HOME=/usr/java/jdk1.8.0_73
export JRE_HOME=/usr/java/jdk1.8.0_73/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
保存退出，执行以下命令使配置生效！
[[email protected] ~]#chmod +x /etc/profile ；增加执行权限
[[email protected] ~]#source /etc/profile；使配置生效！
以上操作都在root用户下完成。
七、设置SSH免密码登陆，切换到hadoop用户
先检查一下是否有ssh和rsync工具
rpm -qa |grep ssh
rpm -qa |grep rsync（可有可无，有更好）
没有ssh和rsync工具的话使用下面命令进行安装：
yum install ssh #安装SSH
yum install rsync #（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）
service sshd restart #启动SSH服务
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限，否则无法免密码登陆
chmod 700 ~/.ssh #修改目录权限
八、安装hadoop
cd /opt #进入opt目录
tar -zxf /opt/hadoop-1.2.1-bin.tar.gz -C /opt #解压
mv hadoop-1.2.1 hadoop #重命名
chown -R hadoop:hadoop hadoop #更改所属用户，十分重要
九、尝试单机模式
hadoop默认的模式就是非分布式模式，只需配置java环境，无需hadoop配置就可以运行
cd /opt/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output ‘dfs[a-z.]+‘
cat ./output/*
hadoop不能覆盖结果文件，所以先删除 ./output ，下次运行上面的例子就不会报错。
rm -r ./output
十、配置hadoop
（1）vi /etc/profile
添加下面内容
# Hadoop Environment Variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
————————————————————————————————
下面进入hadoop的配置文件夹
cd /opt/hadoop/conf/
（2）配置 hadoop-env.sh
vi hadoop-env.sh 在最下面添加
export JAVA_HOME=/usr/java/jdk1.8.0_73
export HADOOP_HOME_WARN_SUPPRESS=1 #我的环境在格式化namenode时出现过Warning: $HADOOP_HOME is deprecated.，这句根据情况
（3）配置 core-site.xml
vi core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.67.57:9000</value>
</property>
</configuration>
（4）配置hdfs-site.xml
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
（5）配置mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.67.57:9001</value>
</property>
</configuration>
（6）配置masters 和 slaves文件（这部可以省略）
全部清空，再添加Master的ip地址
（7）格式化
cd /opt/hadoop
hadoop namenode -format
start-all.sh
（8）查看运行状态
jps
这样就启动成功了
十一、执行示例程序
hadoop基本操作命令
（1）列出文件（hdfs是系统中的系统）
hadoop fs -ls /
（2）关闭hadoop
stop-all.sh
（3）新建文件夹
hadoop fs -mkdir /newfile
（4）添加文件到hdfs
上图是在FileZilla查看文件，我已经在file1.txt和file2.txt输入了两句英文句子。
注意，file文件夹和里面的文件都要是hadoop用户组，否则会失败
hadoop fs -put /opt/hadoop/file/* /newfile
（5）执行示例程序wordcount
先看下程序包在哪里
ll /opt/hadoop | grep jar
hadoop jar /opt/hadoop/hadoop-examples-1.2.1.jar wordcount /newfile /output/file
/newfile 为输入文件
/output/file 为输出文件
（6）查看执行结果
hadoop fs -cat /output/file/part-r-00000
（7）其他常用命令
下载文件
hadoop fs -get /output/file/part-r-00000 /home/hadoop/
（8）删除文件
hadoop fs -rmr /output/file
问题总结
在使用这个
环境为
Centos6.5 X86 minimal
Hadoop1.2.1
jdk-8u73-linux-i586
配置之前，我使用的配置是
Centos6.5 X64 minimal
hadoop2.6.0
jdk-8u101-linux-x64
但是遇到了
“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”
虽然NameNode,DataNode等都启动了，但是在hdfs下新建文件夹失败
hadoop fs –mkdir input
无法对hdfs进行任何操作
后来换成
Centos6.5 X86 minimal
hadoop2.6.0
jdk-8u101-linux-x64
http://f.dataguru.cn/thread-542396-1-1.html
再后来，把hadoop降级
Centos6.5 X86 minimal
Hadoop1.2.1
jdk-8u73-linux-i586
启动时候遇到Warning: $HADOOP_HOME is deprecated.，加入一条命令搞掂，前面有提到。
————————————————————————————————————————————
下面介绍如何将其升级为完全分布式
一、
在刚才成功运行伪分布式的情况下，关机，克隆出另外的三台虚拟机。centos6.5静态ip克隆出来的话是不能上网的，设置参考！！！
修改好每个虚拟机的ip，设置为静态ip，接着修改hostname，修改hosts，至于/etc/profile则不用再配置了。
需要修改的有：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
vi /etc/sysconfig/network
vi /etc/hosts
二、ssh配置
因为克隆出来的，每台虚拟机的ssh文件都一致
只需要在hadoop用户下，Master与Slave都互相ssh一下，就可以了。
三、配置hadoop
需要修改的只有masters 和 slaves
(1)在Master节点下
vi /opt/hadoop/conf/masters
192.168.67.57是我Master的ip地址
（2）在Master节点下
vi /opt/hadoop/conf/slaves
为什么是四个ip呢，因为我后来在集群运行时动态地加入了一个Slave。有多少个Slave就写多少个IP就行了。
（3）把slaves,masters文件发送到其他三个slaves上
scp /opt/hadoop/conf/slaves 192.168.67.58:/opt/hadoop/conf/
scp /opt/hadoop/conf/masters 192.168.67.58:/opt/hadoop/conf/
(4) 格式化
执行格式化之前，把/opt/hadoop/tmp下面的东西删掉
并且把/opt/hadoop/logs 里面的日志清空
四、动态添加slave节点
建议直接克隆虚拟机，参考伪分布式编程完全分布式时候的设置进行修改配置文件。
第一步，修改虚拟机的基本信息。
需要修改的有：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
vi /etc/sysconfig/network
vi /etc/hosts
第二步，SSH，参照上文
第三步，修改Master主机上 /opt/hadoop/conf/下的masters文件和slaves文件，并发送到所有的Slaves节点
第四步，因为其他节点正在运行，并不需要再次进行格式化hdfs
只需要在新的slave节点上，启动datanode和tasktracker进程
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
通过jps可以查看到运行情况，也可以通过网页端查看新添加的节点
第四步，如果有必要，进行负载均衡
在master节点上运行start-balancer.sh进行数据负载均衡
start-balancer.sh