hadoop配置文件: hdfs-site.xml, mapred-site.xml

dfs.name.dir

Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy.

这个参数用于确定将HDFS文件系统的元信息保存在什么目录下。

如果这个参数设置为多个目录,那么这些目录下都保存着元信息的多个备份。

如:

<property>
    <name>dfs.name.dir</name>
    <value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value>
</property>

dfs.data.dir 

Determines where on the local filesystem an DFS data node should
store its blocks. If this is a comma-delimited list of directories, then
data will be stored in all named directories, typically on different
devices. Directories that do not exist are ignored.

这个参数用于确定将HDFS文件系统的数据保存在什么目录下。

我们可以将这个参数设置为多个分区上目录,即可将HDFS建立在不同分区上。

如:

<property>
    <name>dfs.data.dir</name>
    <value>/pvdata/hadoopdata/data/,/opt/hadoopdata/data/</value>
</property>

转:http://blog.csdn.net/lxpbs8851/article/details/9768039


mapred-site.xml文件中的mapred.local.dir为mapreduce本地数据目录,应当设置为本地目录,如:D:/hadoop/mapred-local-dir。mapreduce在执行一个task时,需要将task的JAR包

和配置文件等下载到本地,然后才能执行,而提交job时,只是将JAR等上传到了HDFS上。

mapred-site.xml文件中的mapred.system.dir为mapreduce共享目录,不能为本地目录,只能为HDFS目录,可以填
写相对目录如:mapred-system-dir,假设以Administrator登录cygwin,并启动hadoop,则:
$ ./hadoop fs -ls /user/Administrator
Found 1 items
drwx-wx-wx   - Administrator supergroup          0 2010-02-02 14:32 /user/Administrator/mapred-system-dir

转:http://www.hadoopor.com/archiver/tid-481.html


时间: 2024-08-24 17:28:41

hadoop配置文件: hdfs-site.xml, mapred-site.xml的相关文章

hadoop配置文件加载顺序

用了一段时间的hadoop,现在回来看看源码发现别有一番味道,温故而知新,还真是这样的 在使用hadoop之前我们需要配置一些文件,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml.那么这些文件在什么时候被hadoop使用? 一般的在启动hadoop的时候使用最多就是start-all.sh,那么这个脚本都干了些什么? start-all.sh # Start all hadoop daemons. Run this on mas

hadoop三个配置文件的参数含义说明core-site.xml,hdfs-site.xml,mapred-site.xml

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的

伪分布式安装core-site.xml和hdfs-site.xml配置文件

hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary

@Value取不到值引出的spring的2种配置文件applicationContext.xml和xxx-servlet.xml

项目中经常会用到配置文件,定义成properties的形式比较常见,为了方便使用一般在spring配置文件中做如下配置: <context:property-placeholder ignore-unresolvable="true" location="classpath*:/application.properties" /> 这样在程序代码中直接用@Value("${name}")就能直接取到properties文件中定义的变量

Json数据如果作为配置文件比较难读懂,XML文件作为配置文件有先天的优势,容易读懂和配置,因此不考虑效率时,在页面中宁可用XML文件作为配置文件再用JS做一次转化把XML转成JSON使用

比如如下相对比较复杂的XML <myobjects> <!--object 1--> <myobject> <id>yourID_1</id> <name>your name</name> <description> <![CDATA[Merck Biologics Pilot Plant ]]> </description> <locations> <location

Hadoop配置文件

部分内容參考:http://www.linuxqq.net/archives/964.html  http://slaytanic.blog.51cto.com/2057708/1100974/ hadoop的重要配置文件有下面几个: 在1.2.1版本号中.core-default.xml有73个属性.hdfs-default.xml有76个属性,mapred-default.xml有136个属性. 很多其它内容请參考P328 一.masters/slaves 1.masters记录的是须要启动

hadoop配置文件的参数含义说明

#hadoop version 查看版本号 1 .获取默认配置 hadoop2系列配置文件一共包括6个,分别是hadoop-env.sh.core-site.xml.hdfs-site.xml.mapred-site.xml.yarn-site.xml和slaves.除了hdfs-site.xml文件在不同集群配置不同外,其余文件在四个节点的配置是完全一样的,可以复制. 另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapr

29.Hadoop之HDFS集群搭建笔记

0.修改IP,主机名,hosts文件 setup        修改网卡IP service  network  restart        重启网络服务使IP生效 vim /etc/sysconfig/network修改主机名 vim /etc/hosts/修改hosts文件 192.168.126.128 hadoop001 192.168.126.129 hadoop002 192.168.126.130 hadoop003 192.168.126.131 hadoop004 1.安装j

hadoop和hdfs环境搭建

参考链接:http://blog.csdn.net/zolalad/article/details/11470449 环境:ubuntu14.04 hadoop1.0.1 下面以3台机器为例,讲解安装过程 1) 准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为slave01, slave02.强调命名是为了方便管理,其实命名无所谓.如果已命名为其它名称,可通过编辑/etc/hostname进行更改. 2) 为所有主从节点配置静态ip,因为主从节点间需要

Hadoop配置文件与HBase配置文件

本Hadoop与HBase集群有1台NameNode, 7台DataNode 1. /etc/hostname文件 NameNode: node1 DataNode 1: node2 DataNode 2: node3 ....... DataNode 7: node8 2. /etc/hosts文件 NameNode: 127.0.0.1 localhost #127.0.1.1 node1 #-------edit by HY(2014-05-04)-------- #127.0.1.1 n