Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行

我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25

官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便。

结点信息:(分布式集群架构:master为主节点,其余为从节点)


机器名


IP


作用


master


122.205.135.254


NameNode and JobTracker


slave1


122.205.135.212


DataNode and TaskTracker

1.JDK的安装

首先Hadoop运行需要Java的支持,所以必须在集群中所有的节点安装JDK,

jdk1.7.0_60的详细安装注意:最好将集群中的JDK都安装在同一目录下,便于配置。实践中,笔者一般将JDK安装在/usr/java这个目录,但并不是必须的。

2.配置hosts文件

修改集群中所有机器的/etc/hosts,打开该文件的命令如下:

sudo gedit /etc/hosts

添加(例子):

122.205.135.254 master

122.205.135.212 slave1

注意:这里的master、slave1、slave2等等,指的是机器的机器名(使用命令hostname可以查看本机的机器名),切记,如果不是机器名的话会出问题的,并且集群中所有结点的机器名都应该不一样。

3.SSH无密码登录

Hadoop主从节点无密码登录的安装配置详细见我的另一篇章:点击打开链接

4.Hadoop的安装与配置

(1).下载解压Hadoop稳定版

我用的是hadoop-2.6.0,下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/stable/

将下载后的Hadoop 拷贝到hadoop目录下,解压到master服务器的/hadoop目录下(配置好master结点后再将其复制到其它的服务器上,一般来说,群集中所有的hadoop都安装在同一目录下):

解压命令如下:

tar xzfv hadoop-2.6.0.tar.gz

(2).配置Hadoop

1.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh,添加JDK支持:

export JAVA_HOME=/usr/java/jdk1.8.0_25

如果不知道你的JDK目录,使用命令echo $JAVA_HOME查看。

2.修改hadoop-2.6.0/etc/hadoop/core-site.xml

注意:必须加在<configuration></configuration>节点内

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.6.0/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

3.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/hadoop-2.6.0/dfs/name</value>
 
  <description>Path on the local filesystem where the NameNode
stores the namespace and transactions logs
persistently.</description>
</property>
 
<property>
    <name>dfs.data.dir</name>
    <value>/home/hadoop/hadoop-2.6.0/dfs/data</value>
 
  <description>Comma separated list of paths on the local
filesystem of a DataNode where it should store its
blocks.</description>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
    <description>Host or IP and port of JobTracker.</description>
</property>

5. 修改hadoop-2.6.0/etc/hadoop/masters

列出所有的master节点:

master

6.修改hadoop-2.6.0/etc/hadoop/slaves

这个是所有datanode的机器,例如:

slave1

slave2

slave3

slave4

7.将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上

以slave1为例:命令如下:

scp -r  ~/hadoop-2.6.0 [email protected]:~/

安装完成后,我们要格式化HDFS然后启动集群所有节点。

5.启动Hadoop

1.格式化HDFS文件系统的namenode

(这里要进入hadoop-2.6.0目录来格式化好些):

cd hadoop-2.6.0  //进入hadoop-2.6.0目录

bin/hdfs namenode -format  //格式化

2.启动Hadoop集群
启动hdrs命令如下:

sbin/start-dfs.sh //开启进程

成功的话输入jps会出现如下界面:

补充,关闭hdfs集群的命令如下:

sbin/stop-dfs.sh

我们也可以通过网页来看是否正常安装与配置,地址如下:http://master:50070/

时间: 2024-10-07 00:40:51

Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行的相关文章

Ubuntu14.04 安装配置Hadoop2.6.0

目前关于Hadoop的安装配置教程书上.官方教程.博客都有很多,但由于对Linux环境的不熟悉以及各种教程或多或少有这样那样的坑,很容易导致折腾许久都安装不成功(本人就是受害人之一).经过几天不断尝试,终于成功了.现将整个关于Hadoop的安装配置步骤分享出来,一方面为了希望能对有需要的朋友有所帮助,一方面为了总结所遇到的问题和解决方案.接下来开始正文. 准备工作 提前下载好以下工具: JDK安装包 Eclipse安装包 Hadoop安装包 Eclipse的Hadoop插件插件 本人用的JDK版

Ubuntu14.04安装配置SVN及Trac

还是个实习生的时候,项目管理十分欠缺,会出现很多问题,痛定思痛,决定要改变现状,养成良好的项目管理习惯,看网上工具很多,在这里尝试使用SVN作代码版本控制,使用trac作为项目管理追踪.本文采用的操作系统是ubuntu14.04,配置起来并不难. 1.安装所需软件 只要能联网,linux操作系统装软件都十分简单.ubuntu使用apt-get install 直接进行软件安装.必需的软件包有SVN的subversion,trac以及apache2相关软件包.一句话装完所有包. sudo apt-

ubuntu14.04环境下hadoop2.7.0配置+在windows下远程eclipse和hdfs的调用

本教程是在三台电脑上部署的hadoop正式环境,没有建立用户组,而是在当前用户下直接进行集群的部署的,总结如下: 1.三个节点的主机电脑名为:192.168.11.33 Master,192.168.11.24 Slaver2,192.168.11.4 Slaver1,并且这三台主机用户名都要设置一样,我的都是hadoop的用户. 因为本教程使用的是vim编辑器,如果没有vim可以下载一个:sudo apt-get install vim 2.修改hosts文件:切换到root用户下:sudo 

Ubuntu14.04安装配置Open vSwitch

最近在研究学习Open vSwitch,准备在本地Ubuntu14.04机器上安装一下,并基于其创建一个KVM虚拟机,下面就简要记录下在Ubuntu14.04系统上安装Open vSwitch的过程. 1.由于之前安装了KVM,所以在本机生成了一个名为virbr0的bridge,这里我们需要事先将其删除,否则可能会与Open vSwitch产生不兼容的问题,命令如下: ?? virsh net-destroy default Network default destroyed ?? virsh

ubuntu14.04安装配置jdk1.8.0_25

Reference: http://jingyan.baidu.com/article/eb9f7b6d8f82a6869364e8a7.html 今天尝试在ubuntu14.04 LTS上安装jdk-8u25-linux-x64.tar.gz,并配置环境变量,献给新手,亲测有效,下面是具体的安装方法! 工具/原料 jdk-8u25-linux-x64.tar.gz Ubuntu 14.04LTS操作系统 方法/步骤 1 下载JDK 1.8 打开http://www.oracle.com/tec

ubuntu14.04下配置使用openCV3.0

[操  作  系  统] Ubuntu 14.04 LTS [OpenCV版本]  3.0.0-beta [Eclipse 版 本] 3.8.1 需要知识: Linux系统shell命令基础 编译原理基础知识,预编译->编译->汇编->链接 make .cmake知识 IDE使用经验 gcc,g++编译器知识 一.编译安装opencv3.0 1. 准备环境 直接编译安装opencv一般是会报错的,有很多依赖工具需要先安装.主要是:cmake, build-essential, pkg-c

ubuntu14.04安装配置jdk7

1.下载: 去官网http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载对应版本jdk .我下的是dk-7u55-linux-x64.tar.gz. 默认放在了/home/licheng/xiazai/jdk-7u55-linux-x64.tar.gz.将非系统软件装到/opt目录下.[目录自己选择,自己创建都行,就是一个路径的问题][自己用fty或者SSH上传到服务器即可] 2)

ubuntu14.04 安装配置JDK1.7

1,下载jdk-7u45-linux-x64.tar.gz 网址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2, 解压JDK 进入JDK的下载目录 sudo tar zxvf jdk-7u45-linux-x64.tar.gz -C /usr/lib/jvm 3,设置环境变量(全局) sudo gedit /etc/profile 打开profile文件输入 export

Ubuntu12.04 64bit搭建Hadoop-2.2.0

一.准备工作: 集群安装ubuntu12.04 64bit系统,配置各结点IP地址 开启ssh服务,方便以后远程登录,命令sudo apt-get install openssh-server(无需重启) 使用命令:ssh [email protected]测试服务连接是否正常 设置无密钥登录: 修改主机名:sudo vim /etc/hostname将各主机设置成相应的名字,如mcmaster.node1.node2... 修改/etc/hosts文件:sudo vim /etc/hosts,