hadoop 突然断电数据丢失问题

HDFS-Could not obtain block

?

MapReduce?Total cumulative CPU time: 33 seconds 380 msec

Ended Job = job_201308291142_4635 with errors

Error?during job, obtaining debugging information...

Job Tracking URL:?http://xxx?/jobdetails.jsp?jobid=job_201308291142_4635

Examining task ID: task_201308291142_4635_m_000019 (and more) from job job_201308291142_4635

Examining task ID: task_201308291142_4635_m_000007 m(and more) from job job_201308291142_4635

Examining task ID: task_201308291142_4635_m_000009 (and more) from job job_201308291142_4635

?

Task with the most failures(5):

-----

Task ID:

? task_201308291142_4635_m_000009

?

URL:

??http://xxxxxxx:50030/taskdetails.jsp?jobid=job_201308291142_4635&tipid=task_201308291142_4635_m_000009

-----

Diagnostic Messages for this Task:

java.io.IOException:?java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1555036314-10.115.5.16-1375773346340:blk_-2678705702538243931_541142 file=/user/hive/warehouse/playtime/dt=20131119/access_pt.log.2013111904.log

? ? ? ? at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.java:121)

? ? ? ? at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderNextException(HiveIOExceptionHandlerUtil.java:77)

? ? ? ? at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.doNextWithExceptionHandler(HadoopShimsSecure.java:330)

? ? ? ? at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.next(HadoopShimsSecure.java:246)

? ? ? ? at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:215)

? ? ? ? at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:200)

? ? ? ? at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)

? ? ? ? at org.apache.hadoop.mapred.MapTask.runOldMa?

?

  • ? Reson
  • ?Solution?

? ? ? HDFS?FILE?

? ? ? ? ? ? - If?HDFS?block is missing?

? ? ? ? ?1. confirm status

? ? ? ? ? ? ? Confirm missing block is exit or not.

? ? ? ? ? ? ? If missing block is over 1, file is not able to read.?

?$?hadoop?dfsadmin -report

?

?Configured Capacity: 411114887479296 (373.91 TB)

Present Capacity: 411091477784158 (373.89 TB)

DFS Remaining: 411068945908611 (373.87 TB)

DFS Used: 22531875547 (20.98 GB)

DFS Used%: 0.01%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

?

-------------------------------------------------

Datanodes available: 20 (20 total, 0 dead)

?

? ? ? ? ?? ? 2. detail block file

? ? ? ? ? ? ? ?hadoop fsck

? ? ??hadoop?fsck?/ -files -blocks

? ??

...

Status: HEALTHY

?Total size: ? ?4056908575 B (Total open files size: 3505453 B)

?Total dirs: ? ?533

?Total files: ? 15525 (Files currently being written: 2)

?Total blocks (validated): ?15479 (avg. block size 262091 B) (Total open file blocks (not validated): 2)

?Minimally replicated blocks: ? 15479 (100.0 %)

?Over-replicated blocks: ? ?0 (0.0 %)

?Under-replicated blocks: ? 0 (0.0 %)

?Mis-replicated blocks: ? ? 0 (0.0 %)

?Default replication factor: ? ?3

?Average block replication: 3.0094967

?Corrupt blocks: ? ? ? ?0

?Missing replicas: ? ? ?0 (0.0 %)

?Number of data-nodes: ? ? ?20

?Number of racks: ? ? ? 1

FSCK?ended at Tue Nov 19 10:17:19 KST 2013 in 351 milliseconds

?

The filesystem under path ‘/‘ is HEALTHY

?

? ? ? ? ? ? 3. ?remove corrupted file

?$?hadoop?fsck?-delete

?

.....

.........................Status: HEALTHY

?Total size: ? ?4062473881 B (Total open files size: 3505453 B)

?Total dirs: ? ?533

?Total files: ? 15525 (Files currently being written: 2)

?Total blocks (validated): ? ? ?15479 (avg. block size 262450 B) (Total open file blocks (not validated): 2)

?Minimally replicated blocks: ? 15479 (100.0 %)

?Over-replicated blocks: ? ? ? ?0 (0.0 %)

?Under-replicated blocks: ? ? ? 0 (0.0 %)

?Mis-replicated blocks: ? ? ? ? 0 (0.0 %)

?Default replication factor: ? ?3

?Average block replication: ? ? 3.0094967

?Corrupt blocks: ? ? ? ? ? ? ? ?0

?Missing replicas: ? ? ? ? ? ? ?0 (0.0 %)

?Number of data-nodes: ? ? ? ? ?20

?Number of racks: ? ? ? ? ? ? ? 1

FSCK?ended at Tue Nov 19 10:21:41 KST 2013 in 294 milliseconds

?

?

The filesystem under path ‘/‘ is HEALTHY

? ? ?

? ? ? ? ? ?HIVE FILE?

? ? ? ? ? ? ? ?- ?If hive block is missing?

? ? ? ?alter?table drop partition?

?

时间: 2024-10-19 05:49:20

hadoop 突然断电数据丢失问题的相关文章

计算机的组成

1.什么是学会了 自己能将出来,帮别人讲会,张开嘴,勤动手 2.什么叫过目不忘 课前一定预习,交流讨论 1.计算机的组成 服务器(加强版的台式机) 运维的职责 网站数据不能丢 网 站7*24小时运行 升用户体验-访问的 运维人员的原则: 简 单,易用,高效====(简单粗暴) * 1u服务器(u表示服务器的厚度)1U=1.75英寸=4.445cm=4.45cm 服务器的分类: 刀片式(服务器)每一片是相当于一台服务器 塔式服务器:比较小 笔记本和式机的组成原理:cpu风扇,cup(主要计算)硬盘

数据库知识入门

最近总在胡思乱想,不知何去何从,TM20来岁的大好青年突然就莫名有了中年危机感了.也是没谁了,由于行业决定,硬盘里面的东西乱七八糟挺多的...没错,各种学习笔记,突然发现以前的自己是这么的爱学习,看看还挺有用的,于是就重走长征路,温故而知新,做个迁移吧. 目前我们常用的数据库主要就是两类: 关系型数据库和非关系型数据库 关系型数据库: 把复杂的数据结构归结为简单的二元关系(二维表格形式) 结构化查询语言sql语句对数据进行存取 典型产品:MySQL和oracle 非关系型数据库: 就是为了解决w

Python之路【第二篇】计算机组成

硬件组成:输入单元.输出单元.中央处理单元.存储单元 南桥:I/O操作 北桥:CPU操作 0/1的单位称为bit(位) bit是计算机中能识别的最小单位. 字节是计算机中最小的存储单位. 8bit=1Byte(字节)=255=2^8-1 1024Byte=1KByte=1KB 1024KByte=1MByte=1MB 100万字节 1024MB=1GB=10亿字节 1024GB=1TB=1万亿字节 硬盘是外部存储. 机械硬盘的特点:1.数据断电不丢失 2.可重复读写 3.速度慢(相对于内存) 固

到底什么是nandflash,norflash,sdram,emmc,rom,ram【转】

本文转载自:http://blog.sina.com.cn/s/blog_6dd8f2b70101le26.html 最近被nandflash,norflash,sdram,emmc,rom,ram搞的有点头大,所以在这里总结一下,也为了更好的分清他们之间的关系,以至于别人问的时候不至于说不清. 我们不谈这些名次的由来,只说明他们是做什么的,能用来干什么,在哪里我们用到过三部分说明 1.Nandflash 是flash非易失性闪存,即一种快速存储的芯片. 是用来存储数据的,类似于SD卡 是用于我

计算机组成1

一.主板: 主板上一般有BIOS芯片,I/O控制芯片,键和面板控制开关接口,扩充插槽,主板及插卡的直流电源供电接插件等元件. 很多重要的配件如CPU.内存.显卡.芯片组等都是直接安插在主板上,同时也是支持硬盘.光驱等正常运行的承载体. 二.寄存器分类: 1.用来保存变量和临时结果的通用寄存器 2.程序计数器:保存将要取出的下一条指令的内存地址(地址可以跳跃) 3.堆栈指针:只想内存中当前栈的顶端,保存了有关的输入参数,局部变量和没有在通用寄存器中的临时变量 4.程序状态寄存器:(Program

memcached 缓存数据库应用实践

1.1 数据库对比 缓存: 将数据存储到内存中,只有当磁盘胜任不了的时候,才会启用缓存   缺点:断电数据丢失(双电),用缓存存储数据的目的只是为了应付大并发的业务. 数据库: mysql(关系型数据库,能够保证数据一致性,保证数据不丢失,当因为功能太多,导致性能不高) ===数据参考 缓存数据库:  memcache redis(非关系型数据库,性能极高,但不保证数据完整性) === 业务的数据提供者           memcachedb 会将内存的数据写入到磁盘中   redis 主要工

计算机网络随笔

1. 网卡(硬件): 网卡上装有处理器(CPU)和存储器(RAM和ROM),其工作在数据链路层.主要功能:a.数据的封装和解封,传递给上一层或者下一层:b.链路管理,主要是CSMA/CD(带冲突检测)协议的实现.c.编码和译码,即曼切斯特编码于译码. 2. 网关(概念):只要连接两个不同的网络的设备都可以叫网关,而路由器能够实现网关的功能. 3. RAM:既能读又能写的随机存储器(断电数据丢失),即运行内存 4. ROM:只能读的存储器(断电数据不丢失) 5. CPU:中央处理器. 6. 计算机

计算基础整理

1.python是什么? Python是一门编程语言 2.什么是编程语言?(*****) 只要是语言,那语言的本质都一样:语言是一种事物与另外一种事物沟通的介质 编程语言是程序员与计算机沟通的介质 3.什么是编程?(*****) 编程指的是:程序员基于某种编程语言的语法格式将自己脑子中的想要让计算机做的事写到文件中 所以说编程的结果就是一堆文件,这一堆文件就是程序 4.为什么要编程?(*****) 计算机就像是人的奴隶,编程的目的就是人想要奴役计算机, 让计算机代替人类去工作,从而解放人力 5.

python学习第一天:计算机基础

* = 了解 1.python是什么? Python是一门编程语言 2.什么是编程语言? 语言的本质:语言是一个对象与其它对象沟通的工具 编程语言:程序员与计算机沟通的工具 3.什么是编程? 程序员基于某种编程语言的语法格式将自己想要让计算机做的事写到文件中. 编程的结果是一堆文件,这一堆文件就是程序. 4.为什么要编程? 计算机就像人的奴隶,编程的目的就是人要奴役计算机,让计算机代替人类去工作,从而解放人力. 5.计算机硬件: 五大部分: 控制器:计算机的指挥系统.控制器通过地址访问存储器,从