fedora20安装hadoop-2.5.1

首先感谢作者lxdhdgss,他的博文直接帮助了我如何安装hadoop,下面是他的博文修改版,用于安装在fedora20上面的,jdk1.8版本。

到hadoop官网去copy一下链接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在终端wget url(下载链接地址),会直接下载到当前目录下。然后解压,tar xvf apache-hadoop-2.5.1.tar.gz,解压下载的tar.gz。会看到一个名为hadoop-2.5.1的文件夹,把它拷贝到自己平时安装软件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。

下面就需要对Hadoop进行设置了。

首先vim /etc/profile,增加

Xml代码  

  1. #设置jdk的安装路径
    export JAVA_HOME=/opt/lib64/jdk1.8.0_20
  2. #指定CLASSPATH和PATH
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
  3. #设置的hadoop的环境变量
    export HADOOP_HOME=/opt/lib64/hadoop-2.5.1
    export PATH=$HADOOP_HOME/bin:$PATH
    export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存(ESC,:wq)

哦,别忘了在终端执行命令下source /etc/profile,让修改过的profile马上生效。

然后进入hadoop下面的etc/hadoop/(不是系统的etc,是hadoop下面的),ls,看到很多配置文件。

先vi hadoop-env.sh

Java代码  

  1. export JAVA_HOME=/opt/lib64/jdk1.8.0_20  保存退出

vim yarn-env.sh

Java代码  

  1. export JAVA_HOME=/opt/lib64/jdk1.8.0_20  保存退出

vim core-site.xml

Xml代码  

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://localhost:9000</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/home/hadoop/xxx/tmp </value>
  9. </property>
  10. </configuration>

vim hdfs-site.xml

Xml代码  

  1. <configuration>
  2. <property>
  3. <name>dfs.namenode.name.dir</name>
  4. <value>file:/home/hadoop/dfs/name</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.data.dir</name>
  8. <value>file:/home/hadoop/dfs/data</value>
  9. </property>
  10. <property>
  11. <name>dfs.replication</name>
  12. <value>1</value>
  13. </property>
  14. </configuration>

-------------------------补充---------------ssh免登陆设置

还有就是:由于原文没有设置如何面验证登陆ssh,这边给与补充。

由于fedora已经默认安装了openssh,所以不用再此安装ssh了。直接直接配置以下就可以了

配置 SSH 免密码登陆 ,下面是bash命令,直接在终端输入(最好是root身份,如何root?只要终端输入su,然后root的密码就可以登陆root账户了)

  1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 600 ~/.ssh/authorized_keys
  4. sudo service sshd restart

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了,现在可以启动看看了

先格式化,这个很重要。

bash命令 

  1. hadoop namenode -format

这句话基本上就是把目前你的hadoop系统确定一下结构,我们的hadoop系统中,一般是一个namenode+多个datanode。

namenode相当于顾客房间表,datanode相当于具体的房间。

然后启动hadoop吧。

到hadoop的根目录,

bash命令 

  1. sbin/start-dfs.sh

然后再启动yarn,因为2.5.0的版本,早就已经是以yarn这种更好的架构来运行了。

终端显示 

Starting namenodes on [localhost]
[email protected]‘s password:
localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.out
[email protected]‘s password:
localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
[email protected]‘s password:
0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

终端显示 

  1. sbin/start-yarn.sh

然后查看一下开启的进程

bash命令 

  1. jps

终端显示 

[[email protected] hadoop-2.5.1]# jps
30305 DataNode
26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar
26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
30583 SecondaryNameNode
8216 ResourceManager
30092 NameNode
30831 Jps
8511 NodeManager

说明hadoop已经启动成功。

打开http://localhost:50070,可看到hadoop的管理界面,导航栏的最后一项还可以查看hadoop里面的文件。

我们来试着传个文件,到/home下面,新建一个文件,vim test.txt,随便写些东西。保存。

然后把这个文件上传。

bash命令 

  1. hadoop fs -put test.txt /test.first  (表示将本地的text放置在dfs根目录下,并且名为test.first可以随意命名)

在浏览器的后台刷新看看有没有test.first(打开http://localhost:50070,选择utilties在点击browse the file system)。

你也可以先给hadoop建立目录

bash命令 

  1. hadoop fs -mkdir /xxx

上面的上传文件也可以变成这样:

bash命令 

  1. hadoop fs -put test.txt /xxx/test.txt

其他的操作,大家自己去试吧。

特别感谢lxdhdgss,他的博文地址是:http://www.iteye.com/topic/1135085

时间: 2024-12-21 17:38:02

fedora20安装hadoop-2.5.1的相关文章

Linux -&gt;&gt; UBuntu 14.04 LTE下安装Hadoop 1.2.1(集群分布式模式)

安装步骤: 1) JDK -- Hadoop是用Java写的,不安装Java虚拟机怎么运行Hadoop的程序: 2)创建专门用于运行和执行hadoop任务(比如map和reduce任务)的linux用户,就像windows下的服务账户,并且授权给他可以访问运行JDK目录权限,让他可以执行java虚拟机.这个账户最后用来运行bin\.start_all.sh启动hadoop的所有服务,那运行账户肯定是他了,他肯定要有足够的权限.再者,需要配置这个账户的个人环境变量,把Java虚拟机的主目录地址环境

一篇文章教你轻松安装hadoop(第2篇)

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装.     第三章 安装hadoop环境 由于大家在学习hadoop时候,主要以Hadoop 1.0环境为主学习就可以,所以这主要介绍如何搭建Hadoop 1.0分布式环境. 整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安装这里暂不做过多介绍. 安装Hadoop分布式环境: 1) 下载H

Ubuntu安装Hadoop与Spark

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

安装hadoop

1:安装包 http://hadoop.apache.org/releases.html http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html hadoop-2.6.4 (binary) jdk-8u102-linux-x64.tar.gz 2:节点信息 centos7 * 3 master 10.10.0.115 slave1 10.10.0.116 slave2 10.10.0.

Mac OS X Yosemite安装Hadoop 2.6记录

整个安装过程分为四部分: 一.  安装Homebrew 二.  ssh localhost 三. 安装Hadoop已经进行配置文件设置 (伪分布式) 四. 运行栗子 一. 安装Homebrew 采用Homebrew安装Hadoop非常简洁方便,之前在Windows上Cygwin上安装过Hadoop,感觉好麻烦. 关于Homebrew可以查看其官网 http://brew.sh/ 也可以查看 Homebrew 新一代OS X套件管理工具 一文. $ ruby -e "$(curl -fsSL ht

在 Windows 上安装 Hadoop 教程(转)

在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/[email protected] 1. 安装 JDK 不建议只安装 JRE,而是建议直接安装 JDK,因为安装 JDK 时,可以同时安装 JRE. MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK,光 JRE 是不够的. JRE 下载地址:http://www.java.com/zh_CN/download/manual.jsp JDK 下载地址:http://jav

Windows平台下安装Hadoop

1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功). 2.安装Cygwin Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop,下载地址:http://www.cygwin.com/ 根据操作系统的需要下载32位或64的安装文件. 1).双击下载好的安装文

自己动手一步一步安装hadoop(含编译hadoop的native本地包)

最近项目需要用到hadoop,边学习边应用,第一步无疑是安装hadoop,我安装的是hadoop-2.4.1,下面是详细步骤,做备忘以后查看 一.下载依赖软件 1.java hadoop官网说明只支持java 6和7 ,下载最新的java7 http://download.oracle.com/otn-pub/java/jdk/7u65-b17/jdk-7u65-linux-x64.tar.gz 2.maven 从maven官网下载http://maven.apache.org/download

安装hadoop 2.2.0

安装环境为 CentOS 64位系统, 大概分下面几个步奏, 0. 安装JDK1. 配置SSH2. 配置/etc/hosts3. 拷贝hadoop包到没台机器上4. 修改hadoop配置文件5. 关闭每台机器的防火墙6. 格式化namenode7. 运行hadoop 详细说每个步奏, 0. 安装jdk 下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录 1. 配置SSH hadoop是master/slaver 结构,配置SSH使得从maste