hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1

hadoop fs -put localfile . 时出现如下错误:
could only be replicated to 0 nodes, instead of 1
网友的说法:

这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了。

这个异常主要是因为hdfs文件系统出现异常,解决方法是:
先停hadoop;
到hadoop.tmp.dir这里配置路径清除文件;(hadoop.tmp.dir默认:/tmp/hadoop-${user.name})
然后hadoop namenode -format;
最后重启hadoop

有可能客户端防火墙问题:所以除了服务器外,slave(即datanode)也需要sudo /etc/init.d/iptables stop关闭防火墙

重新格式化后把Datanode保存数据块目录中的tmp目录删掉试试看

format之后之前的datanode会有一个ID,这个ID没有删除,所以会拒绝当前Namenode链接和分配。所以需要删除 原来的datanode中的hdfs目录。user和tmp然后再格式化,即可

不需要删除datanode的ID,只需要将datanode的进程号修改为namenode的进程号.
在/tmp目录先看看能不能找到他的进程文件,打开修改一下即可

我也遇到这个问题,让我鼓捣了半天,最后打开eclipse,用dfs视图把里面一个文件删除了,就好了

我来个暴力点的:
bin/stop-all.sh
hadoop fs namenode -format
bin/start-all.sh
终于弄好了,不过这有点恨,不能每次都format,以后碰到类似问题再试一下其他方法。

我的情况是:我在namenode上也起了一个datanode,第二次启动时没启动这个节点上的datanode ,后来启动以后就好了

原文地址:https://www.cnblogs.com/lfxiao/p/10432127.html

时间: 2024-10-29 15:05:55

hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1的相关文章

解决Hadoop启动报错:File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

今天启动hadoop时,发现datanode启动不了,查看日志发现出现以下的错误: java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem

【大数据系列】hadoop上传文件报错_COPYING_ could only be replicated to 0 nodes

使用hadoop上传文件 hdfs dfs -put  XXX 17/12/08 17:00:39 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/sanglp/hadoop-2.7.4.tar.gz._COPYING_ could only be replicated to 0 nodes instead of m

Hadoop上传文件时报错: could only be replicated to 0 nodes instead of minReplication (=1)....

问题 上传文件到Hadoop异常,报错信息如下: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/qn_log.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded

ElasticSearch java客户端更新时出现的错误:NoNodeAvailableException[None of the configured nodes are available

下午尝试 用ElasticSearch  的java客户端去做数据检索工作,测试了一下批量更新,代码如下: public static void bulkUpdateGoods(List<Goods> goods) throws IOException, InterruptedException, ExecutionException { Client client = null; try { client = TransportClient.builder().build() .addTra

【转】Hadoop FS Shell命令

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path .对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file .其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme.一个HDFS文件或目录比如/parent/child 可 以表示成hdfs:

执行hadoop fs -ls时出现错误RuntimeException: core-site.xml not found

由于暴力关机,Hadoop fs -ls 出现了下图问题: 问题出现的原因是下面红框框里面的东西,我当时以为从另一个节点下载一个conf.cloudera.yarn文件就能解决问题,发现不行啊,于是删掉. 从另一个节点scp过来这个文件. 解决办法: scp -r /etc/hadoop/conf.cloudera.yarn [email protected]:/etc/hadoop/conf.cloudera.yarn 问题解决了.如下图:

hadoop中执行命令时发生错误

通过一下方式找到错误的原因,开启hadoop的调试信息 [[email protected] bin]# export HADOOP_ROOT_LOGGER=DEBUG,console 这样在执行命令时,可以通过error字样定位执行命令时产生错误的原因 [[email protected] bin]# ./hadoop fs -mkdir test14/10/08 11:17:55 DEBUG util.Shell: setsid exited with exit code 014/10/08

Hadoop fs.copyToLocalFile错误

fs.copyToLocalFile(new Path("/study1/1.txt"), new Path("C:/Users/Administrator/Desktop/d2.txt")); 报错   log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system prope

用java运行Hadoop程序报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.

用java运行Hadoop例程报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.所写代码如下: package com.pcitc.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.h