hadoop2.2.0伪分布模式64位安装
用到的软件：jdk-6u45-linux-x64.bin，hadoop-2.2.0.x86_64.tar.gz
修改主机名
vim /etc/sysconfig/network
HOSTNAME=h1
修改主机名和ip的映射关系
192.168.1.1 h1
关闭防火墙
chkconfig --list | grep iptables
service iptables stop
chkconfig iptables off
chkconfig --list | grep iptables
生成ssh免密码登录
[[email protected] ~]cd .ssh
ssh-keygen -t rsa
三次回车
cp id_rsa.pub authorized_keys
安装jdk-6u45-linux-x64.bin
解压jdk-6u45-linux-x64.bin到/mengyao/jdk1.6.0_45
./jdk-6u45-linux-x64.bin
mv jdk1.6.0_45 jdk
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export PATH=.:$JAVA_HOME:$PATH
source /etc/profile
java -version
安装hadoop-2.2.0.x86_64.tar.gz
解压hadoop-2.2.0.x86_64.tar.gz到/mengyao/hadoop-2.2.0
tar -zxvf hadoop-2.2.0.x86_64.tar.gz
重命名hadoop-2.2.0为hadoop
mv hadoop-2.2.0 hadoop
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export HADOOP_HOME=/mengyao/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME:$PATH
source /etc/profile
修改hadoop配置文件hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml五个配置文件
1、hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/mengyao/jdk
2、core-site.xml
vi core-site.xml
<configuration>
<!-- 指定hdfs的NameNode的路径 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://h1:9000</value>
</property>
<!-- 指定hadoop的数据存放路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/mengyao/hadoop/tmp</value>
</property>
<configuration>
3、hdfs-site.xml
vi hdfs-site.xml
<configuration>
<!-- 指定hdfs保存数据副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、mapred-site.xml（mv mapred-site.xml.template mapred-site.xml）
vi mapred-site.xml
<configuration>
<!-- 告诉hadoop以后MapReduce运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、yarn-site.xml
vi yarn-site.xml
<configuration>
<!-- 指定nodemanager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定yarn的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>h1</value>
</property>
</configuration>
初始化HDFS（格式化文件系统）
cd /mengyao/hadoop/bin
hadoop namenode -format（hadoop1的，在hadoop2中已过时）
hdfs namenode -format
启动hadoop
start-all.sh（hadoop2提示不推荐使用，使用如下命令）
start-dfs.sh，start-yarn.sh
jps
36374 NodeManager
36269 ResourceManager
35980 DataNode
36133 SecondaryNameNode
35860 NameNode
36886 Jps
浏览器
hdfs h1:50070
yarn h1:8088
hadoop常用命令
上传文件到hdfs hadoop fs -put /源文件路径 /hdfs目录
从hdfs上下载文件到本地 hadoop fs -get /hdfs系统上的文件 /本地路径下的指定文件
从hdfs上删除文件 hadoop fs -rm -r /hdfs系统上的文件
查看hdfs上的文件 hadoop fs -cat /hdfs系统上的文件
递归查看从hdfs根目录开始 hadoop fs ls -R /