HDFS配置文件内容解释

识别和定位

fs.defaule.name(core-site.xml)

定义客户端所使用的默认文件系统的URL。默认值为file:/// 这意味着客户访问的是本地Linux文件系统。

但是生产集群HDFS时,希望这个参数来替代   hdfs://hostname:port 这里hostname和port分别代表NameNode守护程序所在的机器和监听的端口。

同时还有这两个作用:通知NameNode需要绑定的IP地址、端口号。

          指定DataNode心跳需要发送的目标机器端口。

用到该参数的结点 namenode datanode secondnamenode jt tt 客户端。

dfs.name.dir

定义了一个用逗号分隔的不同的本地文件路径,NameNode要在这些路径上保存一个HDFS文件元数据的备份。

元数据很重要,建议定义两个内部硬盘和一个低延迟的高可靠性的NFS挂载。

元数据的完整备份在不同的文件路径都会保存,因此硬盘不需要选择RAID。也有的管理员使用了RAID并放弃定义多个路径。

使用者 NameNode

dfs.data.dir

定义了DataNode在哪儿存放HDFS数据块,用逗号作为分隔符,但是不会在每个指定的路径都做镜像数据,在分配数据块空间时,DataNode会议轮询的方式,在所有的磁盘驱动器间均衡处理。

物理磁盘的丢失影响并不大,因为所有数据都会在集群的其他机器上备份。

使用者 DataNode

fs.checkpoint.dir

次NameNode在checkpoint操作时,使用这些路径文件来保存元数据,如果提供多个路径会有多个镜像。

优化与调整

io.file.buffer.size(core-site.xml)

设置缓存的大小。

较大的缓存可以提供更高效的数据传输,意味着更大的内存消耗和延迟。

参数设置为系统页面大小的倍数,以byte为单位。默认值4KB。

可以设置为64KB(65536byte)

参考值:65536 使用者:客户端、守护进程

dfs.balance.bandwidthPerSec

HDFS平衡器检测集群中使用过度或者使用不足的DataNode,并在这些DataNode之间移动数据块保证负载均衡。

参数定义了每个DataNode平衡操作所允许的最大使用带宽,单位byte

参数在守护进程启动时就读入,不能在平衡器运行时修改。

使用者:DataNode

dfs.block.size

定义了所有新建文件的默认数据块大小。参数的设置不会影响系统中已经存在的文件。

单位byte 默认值:67 108 864 即64MB。//现在不确定是多少

对很多用例而言,134 217 728(128MB)更合适。

数据块大小会显著影响MapReduce作业的效率

使用者:客户端

dfs.DataNode.du.reserved

定义了每个dfs.data.dir定义的磁盘空间需要保留的大小

单位byte,默认0,参考值:10 737 418 240(10GB)

使用者:DataNode

dfs.NameNode.handler.count

NameNode有一个工作线程池用来处理客户端的远程过程调用以及集群守护进程的调用。

处理程序(工作线程)数量越多意味着要更大的池子来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。

对大集群或者有大量客户端的集群,增大该参数。

默认值10;

设置值的原则是将其设为集群大小的自然对数乘以20,即20*logN, N为集群大小。

使用者:NameNode

dfs.DataNode.failed.volumes.tolerated

当DataNode的任何一个本地磁盘出现故障,默认整个DataNode失效。

该承诺书定义了整个DataNode声明失效前允许多少个磁盘出现故障。

使用者:DataNode

dfs.hosts

含有DataNode主机名表,确认允许连接并加入集群的DataNode,其他的DataNode不允许加入。

格式:换行符分隔主机名或者IP地址

使用者:NameNode

dfs.host.exclude

类似于dfs.hosts,把指定节点排除在外。

使用者:NameNode

fs.trash.interval

回收站功能。当功能被启用,文件被移动到用户HDFS主目录的名为.Trash目录下,来保留被删除文件而不是立即删除。

参考值:1440(24小时),使用者:NameNode、客户端

时间: 2024-10-23 06:08:43

HDFS配置文件内容解释的相关文章

linux 里 /etc/passwd 、/etc/shadow和/etc/group 文件内容解释

•/etc/passwd文件用于存放用户账户信息,每行代表一个账户,每个账户的各项信息用冒号分割,例如: root:x:0:0:root:/root:/bin/bash username:password:uid:gid:allname:homedir:shell 1.用户名. 2.密码,“x”代表密码存储在/etc/shadow中:当该值为其他任意非“x”值时,可以通过root用户切换(不需要密码),但是都无法通过非root用户切换到相应用户,因为无法获得起密码了. 3.uid,用户id,0-

分布式文件存储FastDFS(七)FastDFS配置文件具体解释

配置FastDFS时.改动配置文件是非常重要的一个步骤,理解配置文件里每一项的意义更加重要,所以我參考了大神的帖子,整理了配置文件的解释.原帖例如以下:http://bbs.chinaunix.net/thread-1941456-1-1.html,由于原帖中的版本号比較早.所以我针对现有的版本号进行了改动.原帖中没有client.conf的介绍.这里我给加上了. 下文中带有凝视的配置文件下载:http://download.csdn.net/detail/xingjiarong/9445515

[转]Log4Net中配置文件的解释

FROM:http://www.cnblogs.com/kissazi2/p/3392605.html 一个完整的配置文件的例子如下所示 <log4net> <!-- 错误日志类--> <logger name="logerror"> <level value="ALL" /> <appender-ref ref="ErrorAppender" /> </logger> &l

my.cnf 配置文件参数解释

my.cnf 配置文件参数解释: #*** client options 相关选项 ***# #以下选项会被MySQL客户端应用读取.注意只有MySQL附带的客户端应用程序保证可以读取这段内容.如果你想你自己的MySQL应用程序获取这些值.需要在MySQL客户端库初始化的时候指定这些选项. [client] port = 3309 socket = /usr/local/mysql/tmp/mysql.sock [mysqld] !include /usr/local/mysql/etc/mys

centos ifcfg-eth 内容解释 IP 设置 linux

TYPE=Ethernet #网卡类型 DEVICE=eth0 #网卡接口名称 ONBOOT=yes #系统启动时是否自动加载 BOOTPROTO=static #启用地址协议 --static:静态协议 --bootp协议 --dhcp协议 IPADDR=192.168.1.11 #网卡IP地址 NETMASK=255.255.255.0 #网卡网络地址 GATEWAY=192.168.1.1 #网卡网关地址 DNS1=10.203.104.41 #网卡DNS地址 HWADDR=00:0C:2

HDFS文件内容追加(Append) hdfs2.x版支持

HDFS设计之处并不支持给文件追加内容,这样的设计是有其背景的(如果想了解更多关于HDFS的append的曲折实现,可以参考<File Appends in HDFS>:http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/),但从HDFS2.x开始支持给文件追加内容,可以参见https://issues.apache.org/jira/browse/HADOOP-8230.可以再看看http://www.quora.com/HD

log4j配置文件详细解释

log4j.properties文件中语句的解释 1 此句为将等级为INFO的日志信息输出到stdout和R这两个目的地,stdout和R的定义在下面的代码,可以任意起名.等级可分为OFF.FATAL.ERROR.WARN.INFO.DEBUG.ALL,如果配置OFF则不打出任何信息,如果配置为INFO这样只显示INFO, WARN, ERROR的log信息,而DEBUG信息不会被显示,具体讲解可参照第三部分定义配置文件中的logger. 2 3 log4j.rootCategory=INFO,

在C#代码中应用Log4Net(三)Log4Net中配置文件的解释

一个完整的配置文件的例子如下所示,这个是”在C#代码中应用Log4Net(二)”中使用的配置文件. <log4net> <!-- 错误日志类--> <logger name="logerror"> <level value="ALL" /> <appender-ref ref="ErrorAppender" /> </logger> <!-- 信息日志类 -->

数据库config.php文件内容解释及替换方法

在网上我们下载的程序,有很多并没有安装程序,而是需要我们手动修改数据库配置文件 有的还需要网站路径如域名等,下面由魅力网络为大家解释 <?php$pe['db_host'] = 'localhost';服务器名$pe['db_name'] = 'cps1';数据库名$pe['db_user'] = 'root';数据库用户名$pe['db_pw'] = '';数据库密码$pe['db_coding'] = 'utf8';编码$pe['url_model'] = 'pathinfo_safe';安