Hadoop-2.X安装与配置

我们以单节点集群为例,演示如何安装在安装Hadoop2.6.0。ssh和jdk的安装在上一篇已介绍,这里不再赘述。

安装步骤:

(1)将下载的Hadoop安装包放到指定的目录,比如放到您当前用户的home目录。执行以下命令解压安装包:

tar xzf hadoop-2.6.0.tar.gz

(2)编辑home目录下的.bashrc,添加以下项:

# set Hadoop Enivorment for version 2.6.0
#export HADOOP=/Users/bowen/Software/hadoop-1.2.1
export HADOOP_HOME=/Users/bowen/Software/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOME

这个配置也是参照网上来的,Hadoop2.x相比Hadoop1.x差别还是比较大的。

(3)添加namenode和datanode目录

mkdir -p $HADOOP_HOME/yarn/yarn_data/hdfs/namenode
mkdir -p $HADOOP_HOME/yarn/yarn_data/hdfs/datanode

注:请将$HADOOP_HOME替换成hadoop的安装目录

(4)编辑yarn-site.xml,加入以下配置:

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

注:根据需要,可以更改端口号以及本地文件目录。如果使用了本地文件目录,最好事先创建好这些对应的目录。

比如上面的配置文件中,我们使用了/home/user/hadoop-2.6.0/nodemanager-local-dirs 这个目录。

(5)编辑core-site.xml,添加以下配置:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
 </property>

(6)编辑hdfs-site.xml,添加以下配置:

 <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/user/hadoop-2.2.0/yarn/yarn_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/user/hadoop-2.2.0/yarn/yarn_data/hdfs/datanode</value>
  </property>

(7)编辑mapred-site.xml,添加以下配置:

  <property>
  <name>mapreduce.cluster.temp.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>
  <property>
<name>mapreduce.cluster.local.dir</name>
<value></value>
    <description>No description</description>
    <final>true</final>
  </property>

注:如果该文件不存在,可通过复制mapred-site.xml.template文件而得。

(8)编辑hodoop-env.sh,修改以下对应行为:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.6.0.jdk/Contents/Home

注:请确定JAVA已正确安装。如果没有,你可以参照相关文档进行JAVA的安装。

(9)初始化noamenode

bin/hadoop namenode -format

(10)启动hadoop守护进程。依次执行以下命令:

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

(11)在浏览器中输入如下网址,可以查看各服务状态:

http://localhost:50070

http://localhost:8088

http://localhost:19888

12)如果需要停止以上服务,可依次运行以下命令:

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop secondarynamenode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver

注:可以将以上多条命令放到一个脚本文件中,以方便执行。

13)测试

运行以下命令创建数据文件并复制到dfs中:

touch in

nano in

Hadoop is fast

Hadoop is cool

bin/hadoop fs -copyFromLocal in/ /in

用Hadoop自带的wordcount进行测试:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /in /out

如果安装正确,您将可以在屏幕上看到任务调用后的各项处理信息。

如果再次调用该任务,可能会出现/out目录已存在的错误信息,此时您可以调用以下命令清除对应的目录,比如:

bin/hadoop fs -rm -r /out

时间: 2024-10-12 22:31:49

Hadoop-2.X安装与配置的相关文章

Ubuntu16.04下Hadoop的本地安装与配置

一.系统环境 os : Ubuntu 16.04 LTS 64bit java : 1.8.0_161 hadoop : 2.6.4 二.安装步骤 1.安装并配置ssh 1.1 安装ssh 输入命令:  $ sudo apt-get install openssh-server  ,安装完成后使用命令 $ ssh localhost 登录本机.首次登录会有提示,输入yes,接着输入当前用户登录电脑的密码即可. 1.2 配置ssh无密码登录 首先使用命令 $ exit 退出上一步的ssh,然后使用

linux平台下Hadoop下载、安装、配置

在这里我使用的linux版本是CentOS 6.4 CentOS-6.4-i386-bin-DVD1.iso 下载地址: http://mirrors.aliyun.com/centos/6.8/isos/i386/ 0.使用host-only方式 将Windows上的虚拟网卡改成跟linux上的网卡在同一个网段上 注意:一定要将windowsh 的WMnet1的ip设置和你的虚拟机在同一网段,但是ip不一样 一.前期工作: 1.修改linux ip 手动修改 也可以命令修改 vim /etc/

hadoop(六) - ZooKeeper安装与配置

一. ZooKeeper配置 1.使用winscp上传zk安装包 zookeeper-3.4.5.tar.gz 2.解压安装包tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast 3.配置(先在一台节点上配置) 3.1 添加一个zoo.cfg配置文件 进入 $ZOOKEEPER/conf 执行 mv zoo_sample.cfg zoo.cfg 3.2 修改配置文件(zoo.cfg) dataDir=/itcast/zookeeper-3.4.5/data se

Hadoop单机模式安装

需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop. 1. 添加用户及用户组 创建用户hadoop $ sudo adduser hadoop 需要输入shiyanlou的密码:shiyanlou.并按照提示输入hadoop用户的密码. 2. 添加sudo权限 将hadoop用户添加进sudo用户组 $ sudo usermod -G sudo hadoop 四.安装及配置依赖的软件包 1. 安装openssh-server.java.rsync等 $ sudo apt-g

3-1.Hadoop单机模式安装

Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 Linux CentOS6终端 1.4 适合人群 本课程难度为一般,属于初级级别课程,适合具有linux基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA 二.H

Hadoop集群内lzo的安装与配置

LZO压缩,可分块并行处理,解压缩的效率也是可以的. 为了配合部门hadoop平台测试,作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包:gcc.ant.lzo.lzo编码/解码器并配置lzo的文件:core-site.xml.mapred-site.xml.希望对大家有所帮助.以下是正文: 最近我们部门在测试云计算平台hadoop,我被lzo折腾了三四天,累了个够呛.在此总结一下,也给大家做个参考. 操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-C

Hadoop完全分布式模式的配置与安装

转自: http://www.cyblogs.com/ 我自己的博客~ 首先, 我们需要3台机器, 这里我是在Vmware里面创建了3台虚拟机, 来保证我的Hadoop完全分布式的最基本配置.我这里选择的CentOS, 因为RedHat系列,在企业中比较的受欢迎.安装好后,最后的环境信息: IP地址 h1: 192.168.230.133 h2: 192.168.230.160 h3: 192.168.230.161 这里遇见到一个小疑问, 就是修改机器的主机名字. vim /etc/sysco

在虚拟机VM中安装的Ubuntu上安装和配置Hadoop

一.系统环境: 我使用的Ubuntu版本是:ubuntu-12.04-desktop-i386.iso jdk版本:jdk1.7.0_67 hadoop版本:hadoop-2.5.0 二.下载jdk和hadoop,并上传到Ubuntu系统中 Vmware中的Linux与主机系统Windows交互文件的方法请参考:http://blog.chinaunix.net/uid-27717694-id-3834143.html 三.设置hadoop用户: sudo addgroup hadoop #创建

Hadoop那些事儿(五)---Hive安装与配置

我在安装Hive的过程中遇到了好多问题,捣鼓了好久,所以下面的有些操作可能不是必要的操作. 1.配置YARN YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度.YARN 运行于 MapReduce 之上,提供了高可用性.高扩展性. 伪分布式环境不启动YARN也可以,一般不影响程序运行,所以在前边的Hadoop安装与配置中没有配置YARN. 我在安装Hive的过程中,由于一个异常牵扯到了yarn下的jar,所以我觉得还是有必要先把yarn配置一下(这步可能不是必要的) 找到

KickStart安装CentOS,同时安装和配置hadoop

声明:这篇文章是前面是拾人牙慧,我是结合 http://www.111cn.net/sys/linux/59969.htm 和 http://www.cnblogs.com/mchina/p/centos-pxe-kickstart-auto-install-os.html 两篇博客写的. 后面关于IP的部分是自己的 一:系统环境 实验平台:win7,VMware 12.0.0 build-2985596 要安装的系统:CentOS 6.7 64位 要安装的软件:hadoop 1.2.1,jav