1 Hadoop配置
注意事项：关闭所有防火墙
|
服务器 |
IP |
系统 |
|
Master |
10.0.0.9 |
Centos 6.0 X64 |
|
Slave1 |
10.0.0.11 |
Centos 6.0 X64 |
|
Slave2 |
10.0.0.12 |
Centos 6.0 X64 |
Hadoop版本：hadoop-0.20.2.tar.gz
1.1 在master:(在slave1和slave2上操作和以下相同)
#vi /etc/hosts 三台机器相同配置
10.0.0.9 master
10.0.0.11 slave1
10.0.0.12 slave2
#vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=主机名
#reboot
1.2 用root登陆,安装scp (在master、slave1和slave2上)
#yum install openssh-clients
1.3 用root登陆,建立hadoop用户(在master、slave1和slave2上)
#useradd hadoop
#passwd hadoop 输入111111做为密码
1.4 配置SHH认证
1.4.1 在master上
#su - hadoop 进入hadoop用户目录
$ssh-keygen -t rsa 建立ssh目录,敲回车到底
$cd /home/hadoop/.ssh
1.4.2 在slave1上
#su - hadoop 进入hadoop用户目录
$ssh-keygen -t rsa 建立ssh目录,敲回车到底
1.4.3 在slave2上
#su - hadoop 进入hadoop用户目录
$ssh-keygen -t rsa 建立ssh目录,敲回车到底
1.4.4 在master上
$scp -r id_rsa.pub [email protected]:/home/hadoop/.ssh/authorized_keys_m
将master上的密钥传到slave1的hadoop用户下,重命名为authorized_keys_m
密码输入：111111
$scp -r id_rsa.pub [email protected]:/home/hadoop/.ssh/authorized_keys_m
将master上的密钥传到slave2的hadoop用户下,重命名为authorized_keys_m
密码输入：111111
1.4.5 在slave1上
$ cd /home/hadoop/.ssh
$scp -r id_rsa.pub [email protected]:/home/hadoop/.ssh/authorized_keys_s1
将slave1上的密钥传到master的hadoop用户下
$cat id_rsa.pub >> authorized_keys_m 将本地密钥添加authorized_keys
$cp authorized_keys_m authorized_keys
$rm –rf authorized_keys_m
1.4.6 在slave2上
$ cd /home/hadoop/.ssh
$scp -r id_rsa.pub [email protected]:/home/hadoop/.ssh/authorized_keys_s2
将slave2上的密钥传到master的hadoop用户下
$cat id_rsa.pub >> authorized_keys_m 将本地密钥添加authorized_keys
$cp authorized_keys_m authorized_keys
$rm –rf authorized_keys_m
1.4.7 在master上
$cd /home/hadoop/.ssh
$cat id_rsa.pub >> authorized_keys_s1 将本地密钥添加authorized_keys_s1
$ authorized_keys_s2 >> authorized_keys_s1
$cp authorized_keys_s1 authorized_keys
$rm –rf authorized_keys_s1 authorized_keys_s2
1.5 用root登陆,安装JDK (在master、slave1和slave2上)
#yum install java-1.6.0-openjdk-devel
这个安装，java执行文件自动添加到/usr/bin/目录。
验证 shell命令 ：java -version 看是否与你的版本号一致。
1.6 用root登陆,安装hadoop (在master) 本人在slave1和slave2也添加了，自己加的。不知可否
#mount –t auto /dev/sdb /mnt（U盘挂载可不需要）
#cp hadoop-0.2.0**.tar.z /home/hadoop
#cd /home/hadoop
#tar –vxzf hadoop***.tar.gz /home/hadoop
修改Master上/etc/profile 新增以下内容：
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_HOME/bin
执行
#source /etc/profile 来使其生效
1.7 用root登陆,安装hadoop (在master)
配置conf/hadoop-env.sh文件
#添加 export JAVA_HOME=
/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64 这里修改为你的jdk的安装位置。
测试hadoop安装：(以hadoop用户)
hadoop jar hadoop-0.20.2-examples.jar wordcount conf/ /tmp/out
1.8 集群配置（所有节点相同）或者在master配置好，拷贝到其它机器
1.8.1 配置文件：conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:49000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_home/var</value>
</property>
</configuration>
1） fs.default.name是NameNode的URI。hdfs://主机名:端口/
2） hadoop.tmp.dir ：Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。
1.8.2 配置文件：conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:49001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/hadoop_home/var</value>
</property>
</configuration>
1）mapred.job.tracker是JobTracker的主机（或者IP）和端口。主机:端口。
1.8.3 配置文件：conf/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name1 </value>
<description> </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data1 </value>
<description> </description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
1） dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
2） dfs.data.dir是DataNode存放块数据的本地文件系统路径，逗号分割的列表。 当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。
3）dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。
注意：此处的name1、name2、data1、data2目录不能预先创建，hadoop格式化时会自动创建，如果预先创建反而会有问题。
1.8.4 配置masters和slaves主从结点
配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。
vi masters：
输入：
node1
vi slaves：
输入：
node2
node3
配置结束，把配置好的hadoop文件夹拷贝到其他集群的机器中，并且保证上面的配置对于其他机器而言正确，例如：如果其他机器的Java安装路径不一样，要修改conf/hadoop-env.sh
$ scp -r /home/hadoop/hadoop-0.20.2 [email protected]: /home/hadoop
$ scp -r /home/hadoop/hadoop-0.20.2 [email protected]: /home/hadoop
1.8.5 Root改变目录权限（master、slave1、slave2）（此步骤可有可无）
#cd /home/
#chown -R hadoop:hadoop hadoop
#chmod ugo+rwx hadoop
1.9 hadoop启动
注意事项：
格式化、启动hadoop，只需在master启动即可，slave会随着master启动自动启动。人工无需操作slave。
1.9.1 （hadoop用户）格式化一个新的分布式文件系统
(关闭每一台的IPTABLE等防火墙)
先格式化一个新的分布式文件系统
$ bin/hadoop namenode -format
成功情况下系统输出：
12/02/06 00:46:50 INFO namenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = ubuntu/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.203.0
STARTUP_MSG: build =http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203-r 1099333; compiled by ‘oom‘ on Wed May 4 07:57:50 PDT 2011
************************************************************/
12/02/0600:46:50 INFO namenode.FSNamesystem: fsOwner=root,root
12/02/06 00:46:50 INFO namenode.FSNamesystem:supergroup=supergroup
12/02/06 00:46:50 INFO namenode.FSNamesystem:isPermissionEnabled=true
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name1 has been successfully formatted.
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted.
12/02/06 00:46:50 INFO namenode.NameNode:SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode atv-jiwan-ubuntu-0/127.0.0.1
************************************************************/
查看输出保证分布式文件系统格式化成功
执行完后可以到master机器上看到/home/hadoop//name1和/home/hadoop//name2两个目录。在主节点master上面启动hadoop，主节点会启动所有从节点的hadoop。
1.9.2 （hadoop用户）启动所有节点
启动方式1：
$ bin/start-all.sh （同时启动HDFS和Map/Reduce）
系统输出：
starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out
node2: starting datanode, loggingto /usr/local/hadoop/logs/hadoop-hadoop-datanode-ubuntu.out
node3: starting datanode, loggingto /usr/local/hadoop/logs/hadoop-hadoop-datanode-ubuntu.out
node1: starting secondarynamenode,logging to /usr/local/hadoop/logs/hadoop-hadoop-secondarynamenode-ubuntu.out
starting jobtracker, logging to/usr/local/hadoop/logs/hadoop-hadoop-jobtracker-ubuntu.out
node2: starting tasktracker,logging to /usr/local/hadoop/logs/hadoop-hadoop-tasktracker-ubuntu.out
node3: starting tasktracker,logging to /usr/local/hadoop/logs/hadoop-hadoop-tasktracker-ubuntu.out
As you can see in slave‘s output above, it will automatically format it‘s storage directory(specified by dfs.data.dir) if it is not formattedalready. It will also create the directory if it does not exist yet.
执行完后可以到master（node1）和slave（node1，node2）机器上看到/home/hadoop/hadoopfs/data1和/home/hadoop/data2两个目录。
启动方式2：
启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
在分配的NameNode上，运行下面的命令启动HDFS：
$ bin/start-dfs.sh（单独启动HDFS集群）
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。
在分配的JobTracker上，运行下面的命令启动Map/Reduce：
$bin/start-mapred.sh （单独启动Map/Reduce）
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。
1.9.3 关闭所有节点
从主节点master关闭hadoop，主节点会关闭所有从节点的hadoop。
$ bin/stop-all.sh
Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).
${HADOOP_HOME}就是安装路径.
1.10 测试
注意：如果是在windows客户端访问。请在c:\windows下的host加入master、slave1等ip。
1）浏览NameNode和JobTracker的网络接口，它们的地址默认为：
NameNode - http://node1:50070/
JobTracker - http://node2:50030/
3） 使用netstat –nat查看端口49000和49001是否正在使用。
4） 使用jps查看进程
要想检查守护进程是否正在运行，可以使用 jps 命令（这是用于 JVM 进程的ps 实用程序）。这个命令列出 5 个守护进程及其进程标识符。
5）将输入文件拷贝到分布式文件系统：
$ bin/hadoop fs -mkdir input
$ bin/hadoop fs -put conf/core-site.xml input
运行发行版提供的示例程序：
$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output ‘dfs[a-z.]+‘
6.补充
Q: bin/hadoop jar hadoop-0.20.2-examples.jar grep input output ‘dfs[a-z.]+‘ 什么意思啊？
A: bin/hadoop jar（使用hadoop运行jar包） hadoop-0.20.2_examples.jar（jar包的名字） grep （要使用的类，后边的是参数）input output ‘dfs[a-z.]+‘
整个就是运行hadoop示例程序中的grep，对应的hdfs上的输入目录为input、输出目录为output。
Q: 什么是grep?
A: A map/reduce program that counts the matches of a regex in the input.
查看输出文件：
将输出文件从分布式文件系统拷贝到本地文件系统查看：
$ bin/hadoop fs -get output output
$ cat output/*
或者
在分布式文件系统上查看输出文件：
$ bin/hadoop fs -cat output/*
统计结果：
[email protected]:~/hadoop/hadoop-0.20.2-bak/hadoop-0.20.2#bin/hadoop fs -cat output/part-00000
3 dfs.class
2 dfs.period
1 dfs.file
1 dfs.replication
1 dfs.servers
1 dfsadmin
其它查看工具
namenode 上用 java 自带的小工具 jps 查看进程
[[email protected]~]$/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/bin/jps
18978 JobTracker
21242 Jps
18899 SecondaryNameNode
18731 NameNode
在每个 datanode 上查看进程
[[email protected] ~]$ /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/bin/jps
17706 TaskTracker
20499 Jps
17592 DataNode
[[email protected] ~]$ /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_644/bin/jps
28550 TaskTracker
28436 DataNode
30798 Jps
在 namenode 上查看集群状态：
[[email protected]]$ hadoop dfsadmin -report
Configured Capacity: 123909840896 (115.4 GB)
Present Capacity: 65765638144 (61.25 GB)
DFS Remaining: 65765257216 (61.25 GB)
DFS Used: 380928 (372 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Datanodes available: 2 (2 total, 0 dead)