[Hadoop] - 异常Cannot obtain block length for LocatedBlock

在Flume NG+hadoop的开发中,运行mapreduce的时候出现异常Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-235416765-192.168.30.244-1430221967536:blk_1073889944_149172; getBlockSize()=45839; corrupt=false; offset=0; locs=[10.188.10.98:50010, 10.188.10.95:50010, 10.188.10.245:50010]},我们通过fsck命令发现当前文件处于正在写的过程中,而且文件内容为空。截图如下:

所以在我们获取数据的时候,直接导致出现异常。那么针对这种情况,我的想法是:第一种方案立即将这个文件写出到磁盘上去,第二种将这个文件删除。



但是第一种解决方案我现在也不知道怎么弄,所以在这里我直接选择删除hadoop dfs -rm xxxxx即可

时间: 2024-10-13 11:20:49

[Hadoop] - 异常Cannot obtain block length for LocatedBlock的相关文章

Cannot obtain block length for LocatedBlock故障分析和解决

摘要: 作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常,get也一样,这样无法访问hdfs文件的问题必须解决,Mark一下问题背景和解决过程 一.问题背景 问题产生的原因可能是由于前几日Hadoop集群维护的时候,基础运维组操作不当,先关闭的Hadoop集群,然后才关闭的Flume agent导致的

hadoop错误Could not obtain block blk_XXX_YYY from any node:java.io.IOException:No live nodes contain current block

错误: 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry 原因: Datanode 有一个同时处理文件

hadoop异常记录

下面遇到问题,提供了一些解决办法,希望有所帮助 1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的,上限默认为5.引起此问题的方式可能会有很多种,比如网络连接不正常,连接超时,带宽较差以及端口阻塞等,通常框架内网络情况较好是不会出现此错误的. 2:Too many fetch-failures  Answer: 出现这个问题主要

AES解密异常Given final block not properly padded-在线助手博客

AES 128/192/256位CBC/CFB/ECB/OFB/PCBC 在线加密解密 解密内容:1243CFEBD819AA6B1C717DE870459F7B 秘钥:http://www.it399.com 没有使用填充向量iv AES解密异常Given final block not properly padded javax.crypto.BadPaddingException: Given final block not properly padded at com.sun.crypt

hadoop 异常 Inconsistent checkpoint fields

hadoop second namenode异常 Inconsistent checkpoint fields 没有访问量情况下,namenode进程:cpu 100% :内存使用超多:没有错误日志: secondarynamenode报错: java.io.IOException: Inconsistent checkpoint fields. LV = -57 namespaceID = 371613059 cTime = 0 ; clusterId = CID-b8a5f273-515a-

hadoop异常 java.io.IOException: Job status not available

[[email protected] conf]$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /user/lizeyi/people.txt  /user/lizeyi/wordcount7 15/06/08 18:36:16 INFO client.RMProxy: Connecting to ResourceManager at master.hadoop/10.3.4.35:80

hadoop 异常及处理总结-01(小马哥-原创)

试验环境: 本地:Window-MyEclipse 集群:Vmware 11+ 6台 Centos 6.5 Hadoop版本: 2.4.0(配置为自动HA) 试验背景: 在正常测试MapReduce(下简称MR)程序4次之后,进行一次新的MR程序,MyEclipse的控制台信息卡住不动了,我通过远程连接NameNode查看系统目录也被卡住,这时候再看MyEclipse控制台,发现已经抛出异常 org.apache.hadoop.ipc.RemoteException(org.apache.had

hadoop异常之 reduce拉取数据失败  (error in shuffle in fetcher)

主要错误信息:Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#43 解决办法:限制reduce的shuffle内存使用 hive:set mapreduce.reduce.shuffle.memory.limit.percent=0.1; MR:job.getConfiguration().setStrings("mapreduce.reduce.sh

hadoop 异常及处理总结-02(小马哥精品)

一直以来,对hdfs的警告信息不报以理睬,今天突然关注了一下.每当我操作hdfs的时候就会出现这样一个警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 在网上搜了一下,还真的有对这个警告的解决方法,并且,该文作者提到,这个警告不解决,以后Mahout运行也会受到影响,还是学习一下,