hadoop2.x配置

hadoop2.x在系统架构上与hadoop1.x有很大的变化

原文地址：

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

基本安装请参考：

http://www.cnblogs.com/liuxinan/p/5238287.html

hadoop2.x版本:hadoop-2.0.0-cdh4.7.1

core-site.xml

mapred-site.xml

hdfs-site.xml

yarn-site.xml

hadoop-env.sh 和 yarn-env.sh要在各自的文件中配置一下java home，否则启动失败

启动成功之后，master机器上，jps查看进程信息如下：

slave上进程

查看集群状态

http://master:50070/dfshealth.jsp

时间： 2024-08-09 22:35:01

hadoop2.x配置的相关文章

hadoop2.0 配置yarn成功

很久不写 BO-KE 了,来一篇吧,记住这个成功的一刻,把几个主要文件贴出来: core-site.xml: <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <config

linux系统下单节点hadoop2的配置

Jdk安装: jdk-7u45-linux-x64.gz cp jdk-7u45-linux-x64.gz /usr/java/ cd /usr/java/ tar -zxvf jdk-7u45-linux-x64.gz vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7 export HADOOP_INSTALL=/data/hadoop-2.2.0 export MAVEN_HOME=/usr/local/apache-maven-3.2.3

hadoop1 &amp; hadoop2 fair-schduler 配置和使用

hadoop1 配置 mapred-site.xml,增加如下内容 <property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.FairScheduler</value> </property> <property> <name>mapred.fairscheduler.allocation.fi

hadoop2.7配置HA，使用zk和journal

本文使用前提:从noha到ha zk作用:维护共享锁保证只有一个active的nn journal:在两个nn间同步元数据 机器分配: nn1 namenode,DFSZKFailoverController nn2 namenode,DFSZKFailoverController slave1 datanode,zookeeper,journalnode slave2 datanode,zookeeper,journalnode slave3 datanode,zookeeper,journa

Hadoop2 HA介绍

本文将介绍HA机制的原理,以及Hadoop2 HA配置过程. -------------------------------------------------------------------- HA机制的原理 HA中有两个NameNode:Active NameNode和Standby NameNode.其中Active NN当做主节点,而Standby NN当做备份的主节点,当Active NN崩掉时,可以将Standby NN切换为主节点.而Active NN和Standby NN之间

高效5步走，快速搭建Hadoop2伪分布环境

前两天将Hadoop2的完全分布式搭建文档整理发布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369),朋友相邀,就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2完全分布式后,就笑对"伪分布式"说声 呵呵吧. 前期的jdk环境.SSH免密钥登录配置在此就不再赘述了,直接进入hadoop2的配置.本文Hadoop2配置文件路径:/usr/local/hadoop/etc/hadoop. 开启Hadoo

高效5步走，高速搭建Hadoop2伪分布环境

前两天将Hadoop2的全然分布式搭建文档整理公布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369).朋友相邀.就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2全然分布式后,就笑对"伪分布式"说声 呵呵吧. 前期的jdk环境.SSH免密钥登录配置在此就不再赘述了.直接进入hadoop2的配置. 本文Hadoop2配置文件路径:/usr/local/hadoop/etc/hadoop. 开启Hado

Ubuntu14（64位） 集群环境下安装Hadoop2.4

经过前边的积累,今天终于实现了集群环境下部署Hadoop,并成功运行了官方的例子. 工作如下: 两台机器: NameNode:上网小本,3G内存,机器名:YP-X100e,IP:192.168.101.130. DataNode:虚拟机,Win7下载VMWare10中虚拟Ubuntu14,虚拟机器名:ph-v370,IP:192.168.101.110 确保可互相ping通,按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件,我的hosts配置内容如下 127

Hadoop伪分布配置与基于Eclipse开发环境搭建

原文地址: http://my.oschina.net/lanzp/blog/309078 目录[-] 1.开发配置环境: 2.Hadoop服务端配置(Master节点) 3.基于Eclipse的Hadoop2.x开发环境配置 4.运行Hadoop程序及查看运行日志 1.开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP