关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法

最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：

修改hdfs-site.xml 文件,增加如下行：

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>

<property>
  <name>dfs.support.broken.append</name>
  <value>true</value>
</property>

但是format namenode节点的时候会报错：

[[email protected] ~]$ hadoop namenode -format

14/12/25 10:35:25 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = node1.test.com/172.16.41.151

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.2.1

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013

STARTUP_MSG:   java = 1.7.0_67

************************************************************/

14/12/25 10:35:25 INFO util.GSet: Computing capacity for map BlocksMap

14/12/25 10:35:25 INFO util.GSet: VM type       = 64-bit

14/12/25 10:35:25 INFO util.GSet: 2.0% max memory = 932184064

14/12/25 10:35:25 INFO util.GSet: capacity      = 2^21 = 2097152 entries

14/12/25 10:35:25 INFO util.GSet: recommended=2097152, actual=2097152

14/12/25 10:35:26 INFO namenode.FSNamesystem: fsOwner=hadoop

14/12/25 10:35:26 INFO namenode.FSNamesystem: supergroup=supergroup

14/12/25 10:35:26 INFO namenode.FSNamesystem: isPermissionEnabled=true

14/12/25 10:35:26 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

14/12/25 10:35:26 WARN namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supported. This configuration option is no longer required to enable sync

14/12/25 10:35:26 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

14/12/25 10:35:26 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0

14/12/25 10:35:26 INFO namenode.NameNode: Caching file names occuring more than 10 times

14/12/25 10:35:26 INFO common.Storage: Image file /usr/local/hadoop_tmp/dfs/name/current/fsimage of size 112 bytes saved in 0 seconds.

14/12/25 10:35:26 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:35:26 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:35:26 INFO common.Storage: Storage directory /usr/local/hadoop_tmp/dfs/name has been successfully formatted.

网上搜索半天，最好解决办法如下：

用一下语句：

<property>  
         <name>dfs.support.broken.append</name>  
         <value>true</value>  
 </property>

然后再次格式化namenode，就不报错了！

[[email protected] conf]$ hadoop namenode -format

14/12/25 10:47:18 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = node1.test.com/172.16.41.151

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 1.2.1

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013

STARTUP_MSG:   java = 1.7.0_67

************************************************************/

Re-format filesystem in /usr/local/hadoop_tmp/dfs/name ? (Y or N) Y

14/12/25 10:47:21 INFO util.GSet: Computing capacity for map BlocksMap

14/12/25 10:47:21 INFO util.GSet: VM type       = 64-bit

14/12/25 10:47:21 INFO util.GSet: 2.0% max memory = 932184064

14/12/25 10:47:21 INFO util.GSet: capacity      = 2^21 = 2097152 entries

14/12/25 10:47:21 INFO util.GSet: recommended=2097152, actual=2097152

14/12/25 10:47:21 INFO namenode.FSNamesystem: fsOwner=hadoop

14/12/25 10:47:21 INFO namenode.FSNamesystem: supergroup=supergroup

14/12/25 10:47:21 INFO namenode.FSNamesystem: isPermissionEnabled=true

14/12/25 10:47:21 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

14/12/25 10:47:21 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

14/12/25 10:47:21 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0

14/12/25 10:47:21 INFO namenode.NameNode: Caching file names occuring more than 10 times

14/12/25 10:47:21 INFO common.Storage: Image file /usr/local/hadoop_tmp/dfs/name/current/fsimage of size 112 bytes saved in 0 seconds.

14/12/25 10:47:21 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:47:21 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:47:21 INFO common.Storage: Storage directory /usr/local/hadoop_tmp/dfs/name has been successfully formatted.

14/12/25 10:47:21 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at node1.test.com/172.16.41.151

************************************************************/

时间： 2024-10-17 02:54:31

关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法的相关文章

IE6不支持:hover伪类效果的解决办法

:hover是在CSS中用来制作效果最常用到的一个伪类,比如:标签或div上的鼠标悬停效果 li:hover,div:hover等. 但这种效果是css2及以上版本才添加的,对于只支持css1的浏览器就显示不出来. 在IE6中只兼容a:hover,要使用li:hover或div:hover,需引用一个文件使其兼容: csshover.htc (点击直接查看) 放在网站的根目录下,并在css文件(或者<style>标签)中,加上 body { behavior:url("...cssh

wordpress4.4+版本自动生成一个768w像素缩略图的解决办法

4.4版本以后,wordpress增加了响应式图片的功能,目的是让图片能适应手机.平板等不同屏幕,但是我不想要这个功能,把缩略图大小全调成0,function.php里的相关函数全删除了, 上传图片还是会生成一个768*x像素的缩略图,这个问题你在网上是找不到解决办法的,所能找到的方法全部失效,好在我今天研究了一天,终于解决了. 在文件wp-admin\includes\schema.php里有如下代码,可以看出是4.4新增的功能. // 4.4.0 'medium_large_size_w'

关于使用jquery时，ie8下提示对象不支持的属性或方法的解决办法

转自:http://wapapp.baidu.com/auoong/item/538790fcbe87c834d7ff8cde 首先这个问题的前提是已经排除了常见的这个问题.下面说一种今天我碰到的一种情况. 浏览器报的错误: 1.在xp/win7系统下安装的是ie8的报的错误是:对象不支持此属性与方法. 2.在win8下报的错误是:对象不支持"toLowerCase"属性或方法,即使是调整成ie8模式也是这个错误. 出错的代码段为jquery的源代码,如下: var b=a.nodeN

Windchill10.0升级到10.2版本导致Jersey-1.17无法正常工作的解决办法

先给出异常详细信息吧: 2015-06-01 15:06:28,694 ERROR [localhost-startStop-1] org.apache.catalina.core.StandardContext.loadOnStartup(StandardContext.java:5233) - Servlet /Windchill threw load() exception java.lang.IncompatibleClassChangeError: Implementing class

ShardingJDBC不支持批量插入的一种解决办法

最近项目中需要进行分表就使用了ShardingJDBC做数据库中间层操作 之前sql中有写批量插入,而ShardingJDBC不支持insert xxx values(...),(...),(...)语句 故需要手动开启事务,循环插入并提交事务(与之前批量插入语句性能未做比较) @Component public class UserManager implements ApplicationContextAware { private static ApplicationContext app

Chrome不支持css字体小于12px的解决办法

我们先来看个效果图(chrome下): 从上面的图可以很明显地看出Chrome下css设置字体大小为12px及以下时,显示的都是一样大小,都是默认12px: 那么网上有一个方法就是给当前样式添加Chrome私有属性:-webkit-text-size-adjust:none; 可是我进行验证后发现并无效果.后来查资料了解到在Chrome 27之后就取消了对这个属性的支持,那么我们应该如何设置Chrome下的字体呢? 可以利用css3的缩放属性:transform:scale() .small-f

iis8不支持 aspnet_regiis.exe -iru 命令的解决办法

服务器版的限制,我看你给的提示说也可以使用 dism.exe 命令行. C:\> DISM /Online /Enable-Feature /FeatureName:WCF-HTTP-ActivationC:\> DISM /Online /Enable-Feature /FeatureName:WCF-HTTP-Activation45 另外,在 http://www.iis.net/learn/get-started/whats-new-in-iis-8/iis-80-using-aspn

Chrome谷歌浏览器下不支持css字体小于12px的解决办法

先来看下 ie.火狐.谷歌浏览器下各个字体显示情况 ie下: 火狐下: 谷歌下: 从上面的图可以很明显看出谷歌下 css设置字体大小为12px及以下时,显示都是一样大小,都是默认12px; 那么网上一直有一个方法就是给当前样式添加谷歌私有属性:-webkit-text-size-adjust:none; 可是我进行验证后发现,在谷歌现在的新版本里已经无效.那么我们应该如何设置谷歌下的字体呢? 我们可以使用到 css3里的一个属性:transform:scale() 属性介绍可以戳这里:http:

Oracle 安装 检查操作系统版本 必须是 5.0 5.1 的解决办法

打开 oraparam.ini文件 添加红色部分 Windows=5.1,5.2,6.1 最下面添加 [Windows-6.1-required]#Minimum display colours for OUI to runMIN_DISPLAY_COLORS=256#Minimum CPU speed required for OUI#CPU=300