1 运行模式:
单机模式(standalone): 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
伪分布模式(Pseudo-Distributed Mode): 伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。
全分布模式(Fully Distributed Mode): Hadoop守护进程运行在一个集群上。
2 下载Hadoop:------------------笑一个------------------------
获取安装包后
在home/user目录下创建一个文件夹hadoop, 便于管理hadoop;
更改该文件夹的所有者:sudo chown -R user:usergroup hadoop
有了这步后,更改文件夹,就可以在Ubuntu界面下来操作来
3 配置的过程:
1修改配置文件:
[email protected]:~/hadoop/conf$ gedit hadoop-env.sh
添加如下:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64 (视你机器的java安装路径而定)
export HADOOP_HOME=/home/five/hadoop
export PATH=$PATH:/home/five/hadoop/bin
生效:source hadoop-env.sh
提示:当然你可以在用户环境变量中添加第二个第三个,以便在任意路径下都可以快速执行hadoop命令
2修改文件:
文件1:---------------------------
conf/core-site.xml文件内容修改为下面内容: <configuration> <!-- global properties 以下部分可以不用添加,在1.2.1的示例运行的时候回出现问题--> <property> <name>hadoop.tmp.dir</name> <value>/home/five/hadoop/tmp</value> </property> <!-- file system properties --> hadoop核心配置文件,HDFS 的地址和端口号 <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
文件2:---------------------------
conf/hdfs-site.xml文件内容修改为下面内容:(replication默认为3,如果不修改,datanode少于三台就会报错) <configuration> <property> <name>fs.replication</name> <value>1</value> </property> </configuration>
文件3:---------------------------
这是Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。 conf/mapred-site.xml文件内容修改为下面内容: <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
3 格式化Hadoop文件系统,在命令行输入命令:
bin/hadoop namenode -format
显示:15/03/16 15:43:46 INFO common.Storage: Storage directory /home/five/hadoop/hdfs/name has been successfully formatted.
上面命令如果有错,hadoop目录下执行,或者在环境变量中添加:hadoop的bin目录后,运行:hadoop namenode -format
4 、启动Hadoop,在命令行输入命令:
bin/start-all.sh
./start-all.sh
用bin/start-all.sh;也可以用bin/start-dfs.sh和bin/start-mapred.sh)
5
隔10秒后,因为可能会报错:
然后在命令行下输入:jps
发现有:
4574 TaskTracker
4630 Jps
2865 JobTracker
4237 DataNode
4394 SecondaryNameNode
4092 NameNode
6 验证Hadoop是否安装成功,在浏览器中输入下面网址,如果正常打开说明安装成功。
http://localhost:50030 (mapreduce的web页面)
http://localhost:50070 (hdfs的web页面)
错误信息:
1 http://localhost:50070 ,第二个打不开:
查看Logs:
2015-03-16 16:43:20,701 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode:
java.net.UnknownHostException: Invalid hostname for server: master
打开core-site.xml中的主机:看是不是正确,由于我之前写错了,
2 jps命令后,发现没有DataNode:可能是由于多次格式化NameNode造成
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs
1.进入每个datanode的 dfs.data.dir 的 current目录,修改里面的文件VERSION
#Fri Nov 23 15:00:17 CST 2012
namespaceID=246015542
storageID=DS-2085496284-192.168.1.244-50010-1353654017403
cTime=0
storageType=DATA_NODE
layoutVersion=-32
里面有个 namespaceID 将其修改成为报错信息中的
namenode namespaceID = 971169702
相同的 namespaceID .
然后重新启动 datanode全部都能正常启动了。
4 运行示例:
(1)先在本地磁盘建立两个输入文件 file01和file02
$echo "Hello World Bye World" > file01
$echo "Hello Hadoop Goodbye Hadoop" > file02
例如:我的是:/home/five/input : file01 file02
(2)在hdfs中建立一个input目录:$hadoop fs -mkdir input
(3)将file01和file02拷贝到hdfs中:
$hadoop fs -copyFromLocal /home/five/input/file0* input
(4)执行wordcount:
$hadoop jar hadoop/hadoop-examples-1.2.1.jar wordcount input hadoop/output
hadoop jar hadoop-examples-1.0.4.jar (指定例子所在jar包 ) wordcount (指定程序的名字) /user/hadoop/test-examples/world-count(输入参数) /user/hadoop/test-examples/world-count-result(输出结果)
Error:1:需要是安装目录下对应的版本:hadoop-examples-1.2.1.jar
2:如果提示创建Tem文件夹失败:删除那个在文件conf/core-site.xml中的属性
(5)完成之后,查看结果
$hadoop fs -cat hadoop/output/part-r-00000
显示如下信息:
.....
.....
15/03/17 15:16:24 INFO mapred.JobClient: map 0% reduce 0%
15/03/17 15:16:32 INFO mapred.JobClient: map 100% reduce 0%
15/03/17 15:16:40 INFO mapred.JobClient: map 100% reduce 33%
15/03/17 15:16:41 INFO mapred.JobClient: map 100% reduce 100%
5:参考:
http://www.linuxidc.com/Linux/2013-06/86106p2.htm
http://blog.csdn.net/wyswlp/article/details/10564847
http://www.cnblogs.com/forfuture1978/category/300670.html
http://www.linuxidc.com/Linux/2012-01/50880p2.htm