(1)我的电脑环境
(2)jdk1.6的安装
由于Ubuntu12.04自带了openjdk6,所以,在终端输入java -version后会现实如下提示:
表示jdk已经安装完成了。接下来是配置环境变量。
openjdk6的安装目录是在/usr/lib/jvm下
(3)设置环境变量
#set Java Environment
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
保存并退出,这时在终端输入java -version,如果出现如下提示表示安装成功。
(4)配置SSH免密码登陆
我的ubuntu用户为wgc
1.sudo apt-get install ssh
2.查看当前用户下是否有.ssh的隐藏文件,如果没有就创建一个mkdir .ssh
3.输入ssh-keygen -t dsa -P ‘ ‘ -f -/.ssh/id_dsa(‘ ‘是两个单引号)
这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。
4.输入cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这条命令是把公钥加到用于认证的公钥文件中
5.验证SSH是否安装成功,以及是否可以免密码登陆本机
ssh -version
如果显示如下,表示安装成功
输入ssh localhost,提示是否链接,输入yes即可
(5)安装并运行hadoop
下载并将hadoop-1.0.4.tar.gz解压到当前用户目录下(/home/wgc)
采用为分布式hadoop配置
进入hadoop文件夹下的conf夹,修改配置文件。
1.指定jdk安装位置:
Hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
2.hadoop核心配置文件,配置HDFS地址和段口号。
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.hdfs-site.xml,默认的配置方式是3,在单机版的hadoop中,将其改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.配置MapReduce文件,配置JobTracker的地址和端口
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
5.接下来,在启动hadoop前,需要格式化hadoop的HDFS。进入hadoop文件夹,
输入bin/hadoop namenode -format
格式化文件系统,接下来启动hadoop
输入命令,启动所有进程:
bin/start-all.sh
最后验证hadoop是否安装成功。
打开浏览器,分别输入网址:
localhost:50030(mapreduce的web页面)
localhost:50070(HDFS的web页面)
ubuntu12.04下hadoop1.04环境搭建