Ubuntu下 hadoop2.5.1 (伪分布模式) 配置工作

一:安装JDK

hadoop 是以java语言写的,因此需要在本地计算机上预先安装JDK,安装JDK的方法这里不再详述。

二:创建hadoop用户

为hadoop创建一个专门的用户,将所有的hadoop的工作放到这个用户下。

$sudo adduser hadoop

回车后会提示输入新建用户hadoop的密码,输入密码后会有一些选项确认:

            Changing the user information for username
            Enter the new value, or press ENTER for the default
            Full Name []:
            Room Number []:
            Work Phone []:
            Home Phone []:
            Other []:
这个信息是否正确? [Y/n]

回车保持默认即可。

三:下载hadoop

从apache hadoop 上下载稳定版本的发布包,这里采用的是hadoop-2.5.1.  下载地址:http://hadoop.apache.org/releases.html

配置~/.bashrc(待细究)

$ sudo gedit ~/.bashrc

将如下jdk的信息内容加到后面:

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_67

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

四:安装配置ssh1.安装ssh

 $sudo apt-get install ssh openssh-server

2.ssh无密码验证登录
1)生成当前用户的SSH公钥

$ssh-keygen -t rsa -P ""

2)将~/.ssh/id_rsa.pub添加到目标机器的~/.ssh/authorized_keys文件中

$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3)使用

$ssh localhost

命令即可免密码登录到本地。

五:解压hadoop源码包

终端下利用cd命令进入到到步骤三下载的hadoop源码包所在目录,使用复制命令把hadoop源码包复制到/home/hadoop下

$cp hadoop-2.5.1.tar.gz  /home/hadoop

在/home/hadoop下将hadoop-2.5.1.tar.gz解压到当前文件夹

$tar -xzvf    hadoop-2.5.1.tar.gz

六:配置hadoop的hadoop-2.5.1/etc/hadoop下的hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml1.配置hadoop-env.sh,命令行:

$gedit  /home/hadoop/hadoop-2.5.1/etc/hadoop/hadoop-env.sh

将下面原来的:

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

将${JAVA_HOME}改为自己的jdk路径,例如我的如下:

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_67

2.配置core-site.xml

$gedit  /home/hadoop/hadoop-2.5.1/etc/hadoop/core-site.xml

在/home/hadoop/hadoop-2.5.1/下新建hadoop_tmp目录,将core-site.xml ,在<configuration></configuration>之间添加信息

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
       <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/hadoop-2.5.1/hadoop_tmp</value>
         <description>A base for other temporary directories.</description>
    </property>

</configuration>

3.配置mapred-site.xml

在<configuration></configuration>之间添加如下信息

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

4.配置hdfs-site.xml

hdfs-site.xml用来配置集群中每台主机都可用,指定主机上作为namenode和datanode的目录。

在/home/hadoop/hadoop-2.5.1下创建文件夹hdfs:

$cd  /home/hadoop/hadoop-2.5.1

进入后:

$mkdir hdfs$mkdir hdfs/name$mkdir hdfs/data

用gedit命令hdfs-site.xml如下:

$gedit  /home/hadoop/hadoop-2.5.1/etc/hadoop/hdfs-site.xml

在该文件的<configuration></configuration>之间增加如下内容:

<configuration>
<property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/hadoop/hadoop-2.5.1/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/hadoop/hadoop-2.5.1/hdfs/data</value>

    </property>
   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

保存、关闭编辑窗口

七:格式化hdfs:

cd进入hadoop-2.5.1后:

$ bin/hadoop namenode -format

八:启动hadoop

cd进入hadoop-2.5.1目录后:

$sbin/start-dfs.sh

执行 jps命令,会看到Hadoop相关的进程:

$jps

会有如下信息:

[email protected]:~/hadoop-2.5.1$ jps
11409 NameNode
11760 SecondaryNameNode
11874 Jps
11569 DataNode

浏览器打开 http://localhost:50070/,会看到hdfs管理页面。

若果想关闭hadoop可以使用:

$sbin/stop-all.sh

至此,hadoop伪分布的搭建基本完成。

各种问题总结:

(1)ssh免密码登陆配置之后失败原因之一:

.ssh及其下属子文件的权限问题:

1.首先.ssh的父目录文件权限应该是755,即所属用户的 用户文件 (/home下属的一个用户文件)。

2然后.ssh目录权限是700, 两个dsa 和 rsa的 私钥权限是600,其余文件权限是644.

时间: 2024-08-04 03:32:13

Ubuntu下 hadoop2.5.1 (伪分布模式) 配置工作的相关文章

(转)Ubuntu14.0.4中hadoop2.4.0伪分布模式配置

一.配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop启动时的配置信息. 编辑器中打开此文件 sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml 在该文件的<configuration></configuration>之间增加如下内容: <property> <name>fs.default.name</name

3-2 Hadoop伪分布模式配置部署

Hadoop伪分布模式配置部署 一.实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 hadoop2.7.6 CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有hadoop基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA

hadoop2.2.0伪分布模式64位安装

hadoop2.2.0伪分布模式64位安装用到的软件:jdk-6u45-linux-x64.bin,hadoop-2.2.0.x86_64.tar.gz 修改主机名vim /etc/sysconfig/networkHOSTNAME=h1 修改主机名和ip的映射关系192.168.1.1 h1 关闭防火墙chkconfig --list | grep iptablesservice iptables stopchkconfig iptables offchkconfig --list | gre

Ubuntu下NFS和TFTP服务器的配置

一.NFS的配置 NFS主要用于Libera系统的软件安装,数据存储等.通常NFS安装于一台Linux PC机上,在Libera的嵌入式系统上挂载该远程文件系统,可以方便的为Libera安装和更新软件,以及导出采集到的数据.1.Ubuntu默认没有nfs服务,需要自己安装nfs服务    $sudo apt-get install nfs-kernel-server2.新建NFS目录用于文件共享,修改NFS配置文件/etc/exports    2.1在/opt下新建目录nfs(当然也可以按你自

Ubuntu下Mac主题的安装与配置(上篇)

1.安装gnome经典桌面 sudo apt-get install gnome-session-fallback 没有安装桌面的可安装 gnome 桌面: sudo apt-get install gnome-core 2.下载安装http://sourceforge.net/projects/macbuntu/ ,macbuntu 主题是高仿的(90%)!同样适用 10.10 以后的版本,但要简单设置一下:将 install.sh 和 uninstall.sh 中的UBUVER="10.10

ubuntu 下安装eclipse &amp;amp;java环境配置

前面有一篇的博客写的是ubuntu下安装eclipse和java环境的配置.当时是安装网上的攻略进行的 ,当然也是能够成功的. 近期把那台电脑送人了 ,仅仅好在自己的这台电脑上又一次安装一次了 ,唯一欣慰的是eclipse和jdk  以及ubuntu版本号都有所更新,这次也用了其它的方式进行的安装配置 第一步下载 这里要下载eclipse 和jdk 最新版本号的jdk已经到了1.8.0_05 .eclipse也升级到了luna   ubuntu用的是14.4 eclipse  :http://w

ubuntu下的mysql的安装与配置

虽然项目紧张,仍然把一些基本的知识点纪录下分享,共用好开源的东西,创造实体价值! ubuntu下的mysql服务器安装配置如下: 一.安装方法 1.    sudo apt-get install mysql-server 2.    sudoapt-get install mysql-client 3.    sudo apt-get install libmysqlclient-dev 二.目录结构 新版本中的mysql和以前的目录结构有所变化: 启动脚本:/etc/init.d/ mysq

ubuntu安装hadoop2.x(伪分布式)

接上篇:ubuntu安装hadoop1.x(伪分布式) 1.x和2.x在安装上差异不大,就是程序目录不大一样. hadoop1.x和2.x部分对应关系     1.x 2.x core-site.xml ${HADOOP_HOME}/conf/core-site.xml ${HADOOP_HOME}/etc/hadoop/core-site.xml hdfs-site.xml ${HADOOP_HOME}/conf/hdfs-site.xml ${HADOOP_HOME}/etc/hadoop/

ubuntu下hadoop2.6在eclipse上的配置

1.复制hadoop-eclipse-plugin-2.6.0.jar插件到eclipse的plugins目录下(hadoop2.6的插件,在hadoop自带上没有,要上网下载,多试几个 如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugins sudo cp hadoop-eclipse-plugin-2.6.0.jar /usr/share/