1 前言:
Hadoop 最早是为了在Linux 平台上使用而开发的,但是Hadoop 在UNIX、Windows 和
Mac OS X 系统上也运行良好。不过,在Windows 上运行Hadoop 稍显复杂,首先必须安装
Cygwin 以模拟Linux 环境,然后才能安装Hadoop。
windows下:可以有1:虚拟机Vmware+linux系统,或者另外:hadoop4win的一个集成化的自动安装程序(貌似我还是没有安装成功)
由于我用的是环境是:Ubuntu。
2 jdk安装:
当然,在linux下程序的安装貌似很简单,把下载好的对应程序解压的自己想要的目录中即可:
1 ubuntu由于有个软件中心,可以在终端自动帮你下载:sudo apt-get install sun-java6-jdk
如果你不知道怎么版本,你可以在终端命令下输入:java,或javac,一般提示会有提示,按照提示自动安装即可
这样安装的目录一般是自动指定的,如:/usr/lib/jvm/、、、、java-6-openjdk-amd64
找到自己的安装目录: dpkg -l openjdk-6-jdk
2 自己先下载:
链接:下载传送---------------------。然后自己解压到自己的目录。
3 跟我们在windows下安装一样,也需要配置环境变量:
我的java目录:/usr/lib/jvm/java-6-openjdk-amd64
在终端:
sudo gedit /etc/profile (这个为用户环境变量配置文件)
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(3)验证Java是否安装成功
输入 java -version ,javac,java 有相关信息输出即可表示成功
如果对环境变量,linux下的简单操作不熟悉,请先吃个饭,环境变量 ,文件操作 。
1 这里先解释一下sudo 与apt 这两个命令,sudo 这个命令允许普通用户执行某些或全部需要root 权限命令,它提供了详尽的日志,可以记录下每个用户使用这个命令做了些什么操作;同时sudo 也提供了灵活的管理方式,可以限制用户使用命令。sudo 的配置文件为/etc/ sudoers。 2 apt 的全称为the Advanced Packaging Tool,是Debian 计划的一部分,是Ubuntu 的软件包管理软件,通过apt 安装软件无须考虑软件的依赖关系,可以直接安装所需要的软件,apt会自动下载有依赖关系的包,并按顺序安装,在Ubuntu 中安装有apt 的一个图形化界面程序 synaptic(中文译名为“新立得”),大家如果有兴趣也可以使用这个程序来安装所需要的软件。
3 安装配置SSH
(1)下载安装SSH:同样在命令行输入下面命令安装SSH
sudo apt-get install ssh
(2)配置无密码登录本机:在命令行输入下面两条命令
$ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。
再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
启动后,可以通过如下命令查看服务是否正确启动:
ps -e | grep ssh
(3)验证SSH是否安装成功
输入 ssh localhost 。如果显示本机登录成功就表明安装成功。
ssh localhost 会有如下显示: The authenticity of host ‘localhost (::1)‘ can‘t be established. RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added ‘localhost‘ (RSA) to the list of known hosts. Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686 To access official Ubuntu documentation, please visit: http://help.ubuntu.com/ Last login: Mon Oct 18 17:12:40 2010 from master [email protected]:~$ 这说明已经安装成功,第一次登录时会询问你是否继续链接,输入yes 即可进入。 实际上,在Hadoop 的安装过程中,是否无密码登录是无关紧要的,但是如果不配置无 密码登录,每次启动Hadoop,都需要输入密码以登录到每台机器的DataNode 上,考虑到一 般的Hadoop 集群动辄数百台或上千台机器,因此一般来说都会配置SSH 的无密码登录。
4、关闭防火墙
$sudo ufw disable
注意:这步非常重要,如果不关闭,会出现找不到datanode的问题