hadoop2.0安装和配置

hadoop2与hadoop1的配置有些许不同,最主要的是hadoop1里的master变成了yarn

这篇文直接从hadoop的配置开始,因为系统环境和jdk和hadoop1都是一样的。

hadoop1的配置链接,从第六步开始

六、设置hadoop2参数

进入 usr/local/hadoop/etc/hadoop 文件夹,即可看到以下文件

6.1配置hadoop-env.sh

找到export JAVA_HOME这一行,去除前面的#号注释符。

修改 export JAVA_HOME=/usr/local/jdk1.6.0_30

6.2配置core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop100:8020</value>
 <final>true</final>
 </property>
<property>
 <name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmphadoop2.0</value>
</property>
</configuration>

6.3配置hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/tmphadoop2.0/dfs/name</value>
 <final>true</final>
</property>
 <property>
 <name>dfs.datanode.data.dir</name>
<value>/home/hadoop/tmphadoop2.0/dfs/data</value>
<description>Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited list of
directories, then data will be stored in all named directories,
typically on different devices. Directories that do not exist are
ignored. </description>
<final>true</final>
</property>
 <property>
<name>dfs.replication</name> <value>1</value>
 </property>
 <property>
<name>dfs.permissions</name> <value>false</value>
 </property>

</configuration>

6.4:配置mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
 </property>
</configuration>

6.5配置yarn-site.xml

<?xml version="1.0"?>
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
  <name>yarn.resourcemanager.address</name>
  <value>hadoop100:8032</value>
</property>

<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>hadoop100:8030</value>
</property>

<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>hadoop100:8031</value>
</property>

<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>hadoop100:8033</value>
</property>

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>hadoop100:8088</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce.shuffle</value>
        </property> 

<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property> 

</configuration>

6.6配置slaves

hadoop101
hadoop102

其他的和hadoop1都是一样的,这里就不在详述

时间: 2024-10-09 08:09:56

hadoop2.0安装和配置的相关文章

hadoop 2.5.0安装和配置

安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http://www.cnblogs.com/stardjyeah/p/4641524.html 3.linux静态ip配置,教程在 http://www.cnblogs.com/stardjyeah/p/4640691.html 准备好以后就可以进行hadoop 2.5.0安装和配置了 1)        

CUDA 6.0 安装及配置( WIN7 64位 / 英伟达G卡 / VS2010 )

前言 本文讲解如何在VS 2010开发平台中搭建CUDA开发环境 当前配置: 系统:WIN7 64位 开发平台:VS 2010 显卡:英伟达G卡 CUDA版本:6.0 若配置不一样,请勿参阅本文. 第一步 点击这里下载 cuda最新版,目前最高版本是6.0.下载完毕后得到 cuda_6.0.37_winvista_win7_win8.1_general_64.exe 文件. 第二步 运行安装程序,弹出安装过程中转文件路径设定框: 这个路径随便填无所谓,安装完后就会自动删除的,我就直接设置为默认的

VMware Workstation 10.0 安装与配置

VMware Workstation 10.0虚拟机 1.先安装VMware Workstation 10.0原版, 2.然后用下面的任意一个VMware Workstation序列号注册(或者你也可以用注册工具) 1Y0LW-4WJ9N-LZ5G9-Z81QP-92PN7 JU052-F4J41-HZGM8-QU056-93P6Y 0Y6DK-8H1DH-UZ249-X2A5M-3AM2M MA664-AF2E5-6ZAD9-GU15K-1AR1N 3,新建一个VMware的虚拟机 ultra

MySQL Server 5.0–安装及配置/MySQLInstanceConfig.exe用法详解

MySQL Server 5.0–安装及配置/MySQLInstanceConfig.exe用法详解 http://blog.csdn.net/feihong247/article/details/7791105 配置MySQL步骤: 1.       运行MySQL Server安装目录下bin/MySQLInstanceConfig.exe.出现如下所示的向导界面 . 点击"Next"进入下一步. 2.       如果MySQLInstanceConfig在MySQL Serve

烂泥:zabbix3.0安装与配置

这个月又快过完了,最近也比较忙,没时间写文章,今天挤点时间把zabbix3.0安装与配置的文章写下来. 其实zabbix3.0的安装很简单,但是由于个人比较懒,所以一直不喜欢使用源码方式进行安装,而且管理的服务器多了,源码安装也感觉不方便,所以现在大部分安装软件我都会首先选择yum或者apt-get方式进行. 本篇文章,我也不多介绍zabbix3.0安装的详细步骤了,只列出centos.ubuntu下zabbix3.0的相关安装命令以及zabbix的基本配置. zabbix3.0对OS的要求:m

CentOS 6.0安装和配置ssh服务

/* 传统的网络服务程序,如:ftp.pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据.而且,这些服务程序的安全验证方式也是有其弱点的, 就是很容易受到“中间人”(man-in-the-middle)这种方式的攻击.所谓“中间人”的攻击方式, 就是“中间人”冒充真正的服务器接收你传给服务器的数据,然后再冒充你把数据传给真正的服务器.服务器和你之间的数据传送被“中间人”一转手做了手脚之后,就会出现很严重的问题.通过使用SS

macOS下MySQL 8.0 安装与配置教程

原文:macOS下MySQL 8.0 安装与配置教程 一.前言 1.本教程主要内容 适用Homebrew安装MySQL MySQL 8.0 基础适用于配置 MySQL shell管理常用语法示例(用户.权限等) MySQL字符编码配置 MySQL远程访问配置 2.本教程环境信息与适用范围 环境信息 软件/环境 版本/说明 macOS macOS High Sierra MySQL MySQL 8.0.12 适用范围 软件 版本 macOS macOS MySQL 8.0.x 二.MySQL安装

Hadoop2.0安装之非HA版

主要步骤跟Hadoop1.0(1.0安装地址)一致,主要在配置这块有更改 安装 下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/ hadoop安装目录创建./tmp目录,./dfs/name,./dfs/data 修改./etc/hadoop/hadoop-env.sh # 设置JAVA_HOME export JAVA_HOME="/usr/local/src/jdk1.8.0_181/" 修改./etc/ha

Hadoop2.0安装之YARN

YARN(Yet Another Resource Negotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用,是hadoop2.0中的核心,它类似于一个分布式操作系统,通过它的api编写的应用可以跑在它上面,支持临时和常驻的应用,集群的资源可以得到最大限度的共享.资源是指CPU,内存,硬盘,带宽等可以量化的东西. Hadoop1.0和2.0架构对比 1.0的绝对核心是mapreduce,只能跑mapreduce的任务:2.0的绝对核心是YARN,除了可以跑