Hadoop配置文件core-site.xml

<property>
<name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  <description>缺省文件服务的协议和NS逻辑名称,和hdfs-site里的对应此配置替代了1.0里的
fs.default.name,ns1 与 
hdfs-site.xml中的dfs.nameservices配置项对应</description>
</property>

<property>
<name>hadoop.tmp.dir</name>
    <value>/hadoop/1/tmp/hadoop-${user.name}${hue.suffix}</value>
  <description>A base for other temporary 
directories.存放一些解压jar包后的class文件,类似 
hadoop-unjar3569575687995621667,hdfs-site.xml配置文件中
dfs.namenode.name.dir;dfs.datanode.data.dir;dfs.namenode.checkpoint.dir等
配置项会用到该配置项内容</description>
</property>

<property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.GzipCodec,
            com.hadoop.compression.lzo.LzopCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            org.apache.hadoop.io.compress.Lz4Codec
        </value>
        <description>提供压缩/解压的java工具</description>
</property>

<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>  128M
        <description>SequenceFiles在读写中可以使用的缓存大小,在x86系统上一般配置4096倍数;决定了在读写过程当中,有多大的缓存</description>
</property>

<property>
        <name>ha.zookeeper.quorum</name>
        <value>nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181</value>
  
      <description>A list of ZooKeeper server addresses, separated
 by commas, that are to be used by the ZKFailoverController in automatic
 failover</description>
</property>

<property>
        <name>ipc.client.connection.maxidletime</name>
        <value>60000</value>
        <description>超出客户端与服务器连接的最大空闲期maxidletime,断开服务器与客户端的连接</description>
</property>

<property>
        <name>io.seqfile.compression.type</name>
        <value>BLOCK</value>
  
      <description>Hadoop SequenceFile 
是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分,非常适合hadoop文件存储特 
性,SequenceFile的写入由SequenceFile.Writer来实现, 
根据压缩类型SequenceFile.Writer又派生出两个子类SequenceFile.BlockCompressWriter和 
SequenceFile.RecordCompressWriter, 
压缩方式由SequenceFile类的内部枚举类CompressionType来表示,定义了三种方式[NONE|RECORD|BLOCK],
CompressionType.NONE 时 记录信息不压缩
CompressionType.RECORD 时 记录信息压缩(单条记录压缩)
CompressionType.BLOCK  一个block内会有多条记录组成,压缩是作用在block之上的,比RECODE方式能获得更好的压缩比
</description>
</property>

<property>
    <name>topology.script.file.name</name>
    <value>/usr/local/hadoop/etc/hadoop/topology.sh</value>
    <description>机架识别脚本</description>
</property>
时间: 2024-10-08 03:40:35

Hadoop配置文件core-site.xml的相关文章

hadoop配置文件: hdfs-site.xml, mapred-site.xml

dfs.name.dir Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy. 这个参数用于确定将HDFS文

hadoop配置文件加载顺序

用了一段时间的hadoop,现在回来看看源码发现别有一番味道,温故而知新,还真是这样的 在使用hadoop之前我们需要配置一些文件,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml.那么这些文件在什么时候被hadoop使用? 一般的在启动hadoop的时候使用最多就是start-all.sh,那么这个脚本都干了些什么? start-all.sh # Start all hadoop daemons. Run this on mas

Hadoop配置文件

部分内容參考:http://www.linuxqq.net/archives/964.html  http://slaytanic.blog.51cto.com/2057708/1100974/ hadoop的重要配置文件有下面几个: 在1.2.1版本号中.core-default.xml有73个属性.hdfs-default.xml有76个属性,mapred-default.xml有136个属性. 很多其它内容请參考P328 一.masters/slaves 1.masters记录的是须要启动

hadoop配置文件的参数含义说明

#hadoop version 查看版本号 1 .获取默认配置 hadoop2系列配置文件一共包括6个,分别是hadoop-env.sh.core-site.xml.hdfs-site.xml.mapred-site.xml.yarn-site.xml和slaves.除了hdfs-site.xml文件在不同集群配置不同外,其余文件在四个节点的配置是完全一样的,可以复制. 另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapr

hadoop分布式安装部署具体视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)

參考资源下载:http://pan.baidu.com/s/1ntwUij3视频安装教程:hadoop安装.flvVirtualBox虚拟机:hadoop.part1-part5.rarhadoop文件:hadoop-2.2.0.tar.gzhadoop配置文件:hadoop_conf.tar.gzhadoop学习教程:炼数成金-hadoop 虚拟机下载安装:VirtualBox-4.3.12-93733-Win.exehttp://dlc.sun.com.edgesuite.net/virtu

Hadoop配置文件解析

Hadoop源码解析 2 --- Hadoop配置文件解析 1 Hadoop Configuration简介    Hadoop没有使用java.util.Properties管理配置文件, 也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用 org.apache.hadoop.conf.Configuration处理配置信息. org.apache.hadoop.conf目录结构如下:

Hadoop配置文件与HBase配置文件

本Hadoop与HBase集群有1台NameNode, 7台DataNode 1. /etc/hostname文件 NameNode: node1 DataNode 1: node2 DataNode 2: node3 ....... DataNode 7: node8 2. /etc/hosts文件 NameNode: 127.0.0.1 localhost #127.0.1.1 node1 #-------edit by HY(2014-05-04)-------- #127.0.1.1 n

hadoop配置文件说明

1.dfs.hosts 记录即将作为datanode加入集群的机器列表2.mapred.hosts 记录即将作为tasktracker加入集群的机器列表3.dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4.master 记录运行辅助namenode的机器列表5.slave 记录运行datanode和tasktracker的机器列表6.hadoop-env.sh 记录脚本要用的环境变量,以运行hadoop7.core-site.xml had

Spring项目的配置文件们(web.xml context servlet springmvc)

我们的spring项目目前用到的配置文件包括1--web.xml文件,这是java的web项目的配置文件.我理解它是servlet的配置文件,也就是说,与spring无关.即使你开发的是一个纯粹jsp页面的web项目,你也必须配置这个文件.我们的java web项目肯定写了很多servlet代码,这些servlet需要运行在servlet容器中,这个容器就是tomcat的重要组件.也就是,你的web项目需要运行在tomcat中,那么你必须提供一个web.xml文件作为配置文件.在这个文件中,通过

Hibernate配置文件——hibernate.cfg.xml

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd"> <