首先感谢作者lxdhdgss,他的博文直接帮助了我如何安装hadoop,下面是他的博文修改版,用于安装在fedora20上面的,jdk1.8版本。
到hadoop官网去copy一下链接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在终端wget url(下载链接地址),会直接下载到当前目录下。然后解压,tar xvf apache-hadoop-2.5.1.tar.gz,解压下载的tar.gz。会看到一个名为hadoop-2.5.1的文件夹,把它拷贝到自己平时安装软件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。
下面就需要对Hadoop进行设置了。
首先vim /etc/profile,增加
Xml代码
- #设置jdk的安装路径
export JAVA_HOME=/opt/lib64/jdk1.8.0_20 - #指定CLASSPATH和PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin - #设置的hadoop的环境变量
export HADOOP_HOME=/opt/lib64/hadoop-2.5.1
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH
保存(ESC,:wq)
哦,别忘了在终端执行命令下source /etc/profile,让修改过的profile马上生效。
然后进入hadoop下面的etc/hadoop/(不是系统的etc,是hadoop下面的),ls,看到很多配置文件。
先vi hadoop-env.sh
Java代码
- export JAVA_HOME=/opt/lib64/jdk1.8.0_20 保存退出
vim yarn-env.sh
Java代码
- export JAVA_HOME=/opt/lib64/jdk1.8.0_20 保存退出
vim core-site.xml
Xml代码
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/hadoop/xxx/tmp </value>
- </property>
- </configuration>
vim hdfs-site.xml
Xml代码
- <configuration>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>file:/home/hadoop/dfs/name</value>
- </property>
- <property>
- <name>dfs.namenode.data.dir</name>
- <value>file:/home/hadoop/dfs/data</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
-------------------------补充---------------ssh免登陆设置
还有就是:由于原文没有设置如何面验证登陆ssh,这边给与补充。
由于fedora已经默认安装了openssh,所以不用再此安装ssh了。直接直接配置以下就可以了
配置 SSH 免密码登陆 ,下面是bash命令,直接在终端输入(最好是root身份,如何root?只要终端输入su,然后root的密码就可以登陆root账户了)
- ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- chmod 600 ~/.ssh/authorized_keys
- sudo service sshd restart
就可以了。到此就大功告成了
-----------------------------------------------------------------------------
好了,现在可以启动看看了
先格式化,这个很重要。
bash命令
- hadoop namenode -format
这句话基本上就是把目前你的hadoop系统确定一下结构,我们的hadoop系统中,一般是一个namenode+多个datanode。
namenode相当于顾客房间表,datanode相当于具体的房间。
然后启动hadoop吧。
到hadoop的根目录,
bash命令
- sbin/start-dfs.sh
然后再启动yarn,因为2.5.0的版本,早就已经是以yarn这种更好的架构来运行了。
终端显示
Starting namenodes on [localhost]
[email protected]‘s password:
localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.out
[email protected]‘s password:
localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
[email protected]‘s password:
0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out
终端显示
- sbin/start-yarn.sh
然后查看一下开启的进程
bash命令
- jps
终端显示
[[email protected] hadoop-2.5.1]# jps
30305 DataNode
26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar
26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
30583 SecondaryNameNode
8216 ResourceManager
30092 NameNode
30831 Jps
8511 NodeManager
说明hadoop已经启动成功。
打开http://localhost:50070,可看到hadoop的管理界面,导航栏的最后一项还可以查看hadoop里面的文件。
我们来试着传个文件,到/home下面,新建一个文件,vim test.txt,随便写些东西。保存。
然后把这个文件上传。
bash命令
- hadoop fs -put test.txt /test.first (表示将本地的text放置在dfs根目录下,并且名为test.first可以随意命名)
在浏览器的后台刷新看看有没有test.first(打开http://localhost:50070,选择utilties在点击browse the file system)。
你也可以先给hadoop建立目录
bash命令
- hadoop fs -mkdir /xxx
上面的上传文件也可以变成这样:
bash命令
- hadoop fs -put test.txt /xxx/test.txt
其他的操作,大家自己去试吧。
特别感谢lxdhdgss,他的博文地址是:http://www.iteye.com/topic/1135085