hadoop1.2.1配置文件

1)core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
<property><name>Hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

  

hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它,并且NameNode的元数据备份等信息也会放在此这个目录下,如果不配置,其默认路径是/tmp,而/tmp是系统的临时目录,系统重启时往往会被清空,所以需要自定义一个持久化的数据目录。如果hdfs-site.xml中不配置namenode和datanode的存放位置,默认就放在这个路径中。

fs.default.name参数意义就是Namenode的地址和RPC端口。

2)hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
                               

dfs.replication表示为了保证数据的可靠性而设置块的复制数量(默认为3)

dfs.name.dir表示存储NameNode元数据的目录

dfs.data.dir表示数据块的datanode中存储的目录

DataNode节点存储数据块的位置(以Slave2为例):只有data目录,没有name目录,完全对应上述配置文件

<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>

NameNode存储文件系统元数据位置:只有name目录,没有data目录,完全对应上述配置文件中

<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>  

3)mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
</configuration>
           
mapred.job.tracker表示RPC地址和端口号。并且,此文件中不能有空白行出现。
时间: 2024-08-25 06:45:16

hadoop1.2.1配置文件的相关文章

Hadoop1.2.1 配置文件详解

首先我们先回顾一下Hadoop的一些概念: Apache Hdoop 1.x 组成 NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储) TaskTrackers(任务执行) HDFS文件系统 NameNoode:属于管理层,用于管理数据存储 SecondaryNameNode:也属于管理层,辅助NameNode进行管理 DataNode:属于应用层,用户进行数据的存储,被NameNode进行

hadoop1.0.4升级到hadoop2.2 详细流程步骤

hadoop1.x 升级到hadoop2.2 本文参考了博客:http://blog.csdn.net/ajax_jquery/article/details/27311671,对一些地方做了修改,并详细做了说明 HDFS升级,是hadoop集群升级到2.0的关键,而hdfs升级,最重要的是namenode的升级. 首先声明:hadoop1.x不能直接升级到 HA 模式下,namenode是不能升级成功的,这里也借助hadoop2.x兼容hadoop1.x的配置文件来升级. 如果直接升级hado

Ganglia+nagios 监控hadoop资源与报警

全篇主要依赖下面2篇文章 http://quenlang.blog.51cto.com/4813803/1571635 http://www.cnblogs.com/mchina/archive/2013/02/20/2883404.html#!comments 一 资源下载 ganglia-3.6.0.tar.gz ganglia-web-3.6.2.tar.gz nagios : http://sourceforge.net/projects/nagios/files/nagios-4.x/

Hadoop2.6分布式 automatic HA+Federation+Yarn教程

一.前言 与Hadoop1.x相比,Hadoop2.x中的NameNode不再是只有一个了,可以有多个(目前只支持2个).每一个都有相同的职能. 这两个NameNode的地位如何哪? 答:一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据.一旦active状态的NameNode不能工作,通过手工或者自动切换,standby状态的

Hadoop1.X 与 Hadoop2.X区别及改进

一:Haddop版本介绍 0.20.x版本最后演化成了现在的1.0.x版本 0.23.x版本最后演化成了现在的2.x版本 hadoop 1.0 指的是1.x(0.20.x),0.21,0.22 hadoop 2.0 指的是2.x,0.23.x CDH3,CDH4分别对应了hadoop1.0 hadoop2.0 二.Hadoop1.X与Hadoop2.X区别 1.HDFS的改进 1.1 Hadoop1.x时代的HDFS架构 在Hadoop1.x中的NameNode只可能有一个,虽然可以通过Seco

hadoop分布式安装部署具体视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)

參考资源下载:http://pan.baidu.com/s/1ntwUij3视频安装教程:hadoop安装.flvVirtualBox虚拟机:hadoop.part1-part5.rarhadoop文件:hadoop-2.2.0.tar.gzhadoop配置文件:hadoop_conf.tar.gzhadoop学习教程:炼数成金-hadoop 虚拟机下载安装:VirtualBox-4.3.12-93733-Win.exehttp://dlc.sun.com.edgesuite.net/virtu

Hadoop1.1 和Hadoop 2.4 集群安装版

目录 1 环境准备... 4 1.1 硬件配置... 4 1.2 软件... 4 1.3 网络拓扑结构... 4 1.4 系统分区... 5 1.5 虚拟机配置... 5 1.6 SSH免密码登录... 5 1.7 JDK安装... 7 2 Hadoop1.2.1安装及配置... 8 2.1 下载Hadoop安装介质... 8 2.2 解压Hadoop安装介质... 9 2.3 Hadoop配置文件... 9 2.4 复制Hadoop安装介质... 10 2.5 配置HADOOP_HOME. 1

hadoop1.0安装部署

一.需求 公司线上运行有hadoop1.0和hadoop2.0,由于hadoop1.0没有处理jobtracker失败机制,它是一个单点故障,但业务还是以1.0为主,会慢慢过渡到2.0.以下我将以公司目前环境把写1.0部署步聚写出来 二.知识点储备 1.hadoop中NameNode.DataNode.Secondary.NameNode.JobTracker TaskTracker介绍 http://zouqingyun.blog.51cto.com/782246/1656353 2.Hado

Hadoop-1.2.1伪分布下 hive-0.10.0内嵌模式安装

Hadoop-1.2.1伪分布下 hive-0.10.0内嵌模式安装 1.下载hive-0.10.0 网址是:http://archive.apache.org/dist/hive/hive-0.10.0/   下载的安装包为:hive-0.10.0.tar.gz   2012-12-18 23:21  35M  2.把hive-0.10.0拷进 /usr/ 目录下,并进行解压 tar  –zxvf hive-0.10.0.tar.gz 解压完毕如下图: 3.修改文件名.修改hive文件权限.删