1 weekend110的hdfs源码跟踪之打开输入流 + hdfs源码跟踪之打开输入流总结

  

3种形式的元数据,fsimage是在磁盘上,meta.data是在内存上,

我们继续,前面呢,断点是打在这一行代码处,

FileSystem fs = FileSystem.get(conf);

weekend110的hdfs下载数据源码跟踪铺垫  +  hdfs下载数据源码分析-getFileSystem

现在,开始weekend110的hdfs源码跟踪之打开输入流

1、  清掉之前,所有的断点,

dfs是fs的成员,

此刻,断点过不去了,为什么?因为,这需要在服务器上运行。

由此可见,newInfo里面就是block信息。

LocatedBlocks{

fileLength=143588167

underConstruction=false

blocks=[LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741856_1032; getBlockSize()=134217728; corrupt=false; offset=0; locs=[192.168.80.110:50010]}, LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741857_1033; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.80.110:50010]}]

lastLocatedBlock=LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741857_1033; getBlockSize()=9370439; corrupt=false; offset=134217728; locs=[192.168.80.110:50010]}

isLastBlockComplete=true}

BP-168439838-192.168.80.110-1468829197712

这是机器集群的信息,

[[email protected] app]$ cd hadoop-2.4.1/

[[email protected] hadoop-2.4.1]$ ll

total 60

drwxr-xr-x. 2 hadoop hadoop  4096 Jul 18 15:48 bin

drwxrwxr-x. 4 hadoop hadoop  4096 Jul 18 20:37 data

drwxr-xr-x. 3 hadoop hadoop  4096 Jun 21  2014 etc

drwxr-xr-x. 2 hadoop hadoop  4096 Jun 21  2014 include

drwxr-xr-x. 3 hadoop hadoop  4096 Jun 21  2014 lib

drwxr-xr-x. 2 hadoop hadoop  4096 Jun 21  2014 libexec

-rw-r--r--. 1 hadoop hadoop 15458 Jun 21  2014 LICENSE.txt

drwxrwxr-x. 3 hadoop hadoop  4096 Jul 22 11:20 logs

-rw-r--r--. 1 hadoop hadoop   101 Jun 21  2014 NOTICE.txt

-rw-r--r--. 1 hadoop hadoop  1366 Jun 21  2014 README.txt

drwxr-xr-x. 2 hadoop hadoop  4096 Jun 21  2014 sbin

drwxr-xr-x. 4 hadoop hadoop  4096 Jun 21  2014 share

[[email protected] hadoop-2.4.1]$ clear

[[email protected] hadoop-2.4.1]$ cd data/

[[email protected] data]$ ll

total 8

drwxrwxr-x.  5 hadoop hadoop 4096 Jul 18 16:15 dfs

drwxr-xr-x. 12 hadoop hadoop 4096 Jul 22 11:20 nm-local-dir

[[email protected] data]$ cd dfs/

[[email protected] dfs]$ ll

total 12

drwx------. 3 hadoop hadoop 4096 Jul 18 23:07 data

drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 23:06 name

drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 23:07 namesecondary

[[email protected] dfs]$ cd data/

[[email protected] data]$ ll

total 8

drwxrwxr-x. 3 hadoop hadoop 4096 Jul 18 16:14 current

-rw-rw-r--. 1 hadoop hadoop   16 Jul 22 11:19 in_use.lock

[[email protected] data]$ cd current/

[[email protected] current]$ ll

total 8

drwx------. 4 hadoop hadoop 4096 Jul 22 11:20 BP-168439838-192.168.80.110-1468829197712

-rw-rw-r--. 1 hadoop hadoop  229 Jul 22 11:19 VERSION

[[email protected] current]$ cd BP-168439838-192.168.80.110-1468829197712/

[[email protected] BP-168439838-192.168.80.110-1468829197712]$ ll

total 12

drwxrwxr-x. 4 hadoop hadoop 4096 Jul 18 23:02 current

-rw-rw-r--. 1 hadoop hadoop    0 Jul 22 11:20 dncp_block_verification.log.curr

-rw-rw-r--. 1 hadoop hadoop  348 Jul 22 11:20 dncp_block_verification.log.prev

drwxrwxr-x. 2 hadoop hadoop 4096 Jul 22 11:19 tmp

[[email protected] BP-168439838-192.168.80.110-1468829197712]$ cd current/

[[email protected] current]$ ll

total 16

-rw-rw-r--. 1 hadoop hadoop   23 Jul 18 23:02 dfsUsed

drwxrwxr-x. 2 hadoop hadoop 4096 Jul 20 15:20 finalized

drwxrwxr-x. 2 hadoop hadoop 4096 Jul 20 15:20 rbw

-rw-rw-r--. 1 hadoop hadoop  131 Jul 22 11:19 VERSION

[[email protected] current]$ cd finalized/

[[email protected] finalized]$ ll

total 141340

-rw-rw-r--. 1 hadoop hadoop 134217728 Jul 19 09:59 blk_1073741856

-rw-rw-r--. 1 hadoop hadoop   1048583 Jul 19 09:59 blk_1073741856_1032.meta

-rw-rw-r--. 1 hadoop hadoop   9370439 Jul 19 09:59 blk_1073741857

-rw-rw-r--. 1 hadoop hadoop     73215 Jul 19 09:59 blk_1073741857_1033.meta

-rw-rw-r--. 1 hadoop hadoop       168 Jul 19 13:05 blk_1073741858

-rw-rw-r--. 1 hadoop hadoop        11 Jul 19 13:05 blk_1073741858_1034.meta

-rw-rw-r--. 1 hadoop hadoop        71 Jul 20 15:20 blk_1073741866

-rw-rw-r--. 1 hadoop hadoop        11 Jul 20 15:20 blk_1073741866_1042.meta

[[email protected] finalized]$

以上是weekend110的hdfs源码跟踪之打开输入流

下面,继续,weekend110的hdfs源码跟踪之打开输入流总结

时间: 2024-10-03 18:56:46

1 weekend110的hdfs源码跟踪之打开输入流 + hdfs源码跟踪之打开输入流总结的相关文章

zg手册 之 python2.7.7源码分析(4)-- pyc字节码文件

什么是字节码 python解释器在执行python脚本文件时,对文件中的python源代码进行编译,编译的结果就是byte code(字节码) python虚拟机执行编译好的字节码,完成程序的运行 python会为导入的模块创建字节码文件 字节码文件的创建过程 当a.py依赖b.py时,如在a.py中import b python先检查是否有b.pyc文件(字节码文件),如果有,并且修改时间比b.py晚,就直接调用b.pyc 否则编译b.py生成b.pyc,然后加载新生成的字节码文件 字节码对象

编译哈工大语言技术平台云LTP(C++)源码及LTP4J(Java)源码

转自:编译哈工大语言技术平台云LTP(C++)源码及LTP4J(Java)源码 JDK:java version “1.8.0_31”Java(TM) SE Runtime Environment (build 1.8.0_31-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.31-b07, mixed mode)OS:win7 64bitcmake:V2.8.12/V3.2.2LTP:V3.2.0LTP4J:V1.0Microsoft VS C+

集成websocket即时通讯 java聊天源码 代码下载 java后台框架源码 websocket源码

获取[下载地址]   QQ: 313596790   [免费支持更新]A 代码生成器(开发利器);全部是源码     增删改查的处理类,service层,mybatis的xml,SQL( mysql   和oracle)脚本,   jsp页面 都生成   就不用写搬砖的代码了,生成的放到项目里,可以直接运行B 阿里巴巴数据库连接池druid;  数据库连接池  阿里巴巴的 druid.Druid在监控.可扩展性.稳定性和性能方面都有明显的优势C 安全权限框架shiro ;  Shiro 是一个用

【流媒体开发】VLC Media Player - Android 平台源码编译 与 二次开发详解 (提供详细800M下载好的编译源码及eclipse可调试播放器源码下载)

作者 : 韩曙亮  博客地址 : http://blog.csdn.net/shulianghan/article/details/42707293 转载请注明出处 : http://blog.csdn.net/shulianghan VLC 二次开发 视频教程 : http://edu.csdn.net/course/detail/355 博客总结 : -- 本博客目的 : 让 Android 开发者通过看本博客能够掌握独立移植 VLC Media Player 核心框架到自己的 app 中,

Android 源码系列之<十四>从源码的角度深入理解LeakCanary的内存泄露检测机制(下)

转载请注明出处:http://blog.csdn.net/llew2011/article/details/52958567 在上边文章Android 源码系列之<十三>从源码的角度深入理解LeakCanary的内存泄露检测机制(中)由于篇幅原因仅仅向小伙伴们讲述了在Android开发中如何使用LeakCanary来检测应用中出现的内存泄露,并简单的介绍了LeakCanary的相关配置信息.根据上篇文章的介绍我们知道LeakCanary为了不给APP进程造成影响所以新开启了一个进程,在新开启的

J2EE 大型ERP源码,进销存财务一体化源码

J2EE 大型ERP源码,进销存财务一体化源码,JAVA ERP源码,OA源码 演示:http://cx050027.pssdss.com:8080 用户名manager 密码 123456 更多源码www.pssdss.com QQ:11851298

网易新闻应用源码完整版客户端+服务端源码

这个源码是从安卓教程网android分享过来的,看到这个项目比较不错,就转了.网易新闻应用源码完整版客户端+服务端源码,仿网易新闻,android端+服务器端1,为了加快访问速度,服务器端数据是写死了的,数据太多的就复制粘贴了,不是数据库查询的2,新闻图片下载代码注释掉了(网速给力的可以放开注释),显示的是默认图片 3.运行时记得改android端Constantvalues类里面的IP地址4,  UI结合使用的挺不错的等.<ignore_js_op>   <ignore_js_op&g

揭开源码的神秘面纱,让源码从此无处藏身

开始之前,想问一下大家开发中用的都是哪些反编译软件呢??? 开发过程中,我们总想看一下类的源代码,然后就按住Ctrl,在想看的类上鼠标轻轻一点.呈现在我们面前的现实却是残酷的. 就像图片中展示的那样令人郁闷..瞬间心灰意冷...泪奔有木有... 没事,我们可以使用反编译软件来查看源代码.LZ一直用的就是jd-gui.exe..但是很不方便有木有... 每次都要单独把要反编译的jar包扔进jd-gui.exe的可视化界面去执行..无法直接在myeclipse中查看... 要是能够直接在myEcli

房卡麻将源码下载十三水房卡麻将源码搭建教程

代码中需修改的地方:1.cocos2d-x-3.14.1\cocos\Android.mk 里面 #$(call import-module,curl/prebuilt/android)修改成$(call import-module,curl/prebuilt/android) 2.cocos2d-x-3.14.1\extensions\Android.mk 添加如下  目的是为了支持外部静态curl库LOCAL_STATIC_LIBRARIES += cocos_network_staticL

QtCreator源码分析(一)——QtCreator源码简介

QtCreator源码分析(一)--QtCreator源码简介 一.QtCreator简介 QtCreator是设计精巧的插件式系统,QtCreator的核心是一个插件管理器,其所有功能都是使用插件完成.在启动时,QtCreator会首先加载一个名为coreplugin的插件,coreplugin插件提供了Qt Creator最基本的功能和扩展点,其余的插件都是直接或间接依赖于coreplugin插件提供的机制,一步步扩充QtCreator的功能,最终将其变成一个功能完整的IDE.针对QtCre