版本: 使用hadoop1.1.2 JDK为java7
1.下载hadoop
2.配置hadoop文件
3测试
1.下载hadoop:
1.1
在https://archive.apache.org/dist/hadoop/common/ 中下载hadoop1.1.2 , 这里注意要下载 hadoop的bin,而不是带有src的文件 ,src的文件是未经编译的hadoop
1.2
解压hadoop , 把hadoop的压缩包放在/opt下面 ,然后 使用命令解压 tar –zvxf hadoop-x.y.z.tar.gz
2 hadoop的环境设置
2.1配置环境变量:
这一步其实是可以不要的, 为了方便使用hadoop的shell命令,要在/etc/profile添加hadoop的的命令到path中;
export HADOOP_INSTSALL="opt/hadoop/hadoop1.1.2"
export PATH=${HADOOP_INSTALL}/bin:${PATH}
2.2配置集群的主机名:
在/etc/hosts中添加主机与IP的映射关系:
vim /etc/hosts
配置完成之后 , 可以使用个ping <主机名> 来检测一下
2.3建立ssh的免密码互联 , UbuntuDesktop是没有sshServer的,只有SshClient ,但是UbuntuServer是可以选择安装SShServer的
因此要先安装sshServer , 使用命令apt-get ssh
在ubuntu14.10的时候,ssh会出现版本不一致而无法使用, 可以把原来的ssh全部删除,然后重新安装就行勒
安装好ssh之后 , 可以使用建立免密码互联了 , 具体步骤参照下一篇
在${HADOOP_INSTALL}/conf中修改core-site.xml为
hadoop.tmp.dir是必须要指明的 ,否则重启的时候datanod无法启动 ,
在${HADOOP_INSTALL}/conf中修改hdfs-site.xml为
在hadoop-env.sh中加入
export JAVA_HOME=${JAVA_HOME} ####前提是你已经在系统中设置JAVA_HOME, 如果没有 就直接写自己的JAVA_HOME所在地
然后 刷新 source ./hadoop-env.sh
在msters中设置master的Ip
指明datanode的节点
最后 , 关机重启 . 或者是使用 source /etc/profile