修改HDFS块大小

环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1

1、查看当前块大小,默认64M。

[[email protected] hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt
67108864

2、修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。

[[email protected] hadoop-1.2.1]$ cat conf/hdfs-site.xml
<?xml
version="1.0"?>
<?xml-stylesheet type="text/xsl"
href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
 <property>
 
<name>dfs.replication</name>
 
<value>1</value>
 </property>
 <property>
 
<name>dfs.block.size</name>
 
<value>134217728</value>
 </property>
</configuration>

3、上传个新文件,查看文件块大小。

[[email protected] hadoop-1.2.1]$ bin/hadoop fs -put ../input/tes4.txt ./in

[[email protected] hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test4.txt
134217728

修改HDFS块大小,布布扣,bubuko.com

时间: 2024-10-14 03:53:42

修改HDFS块大小的相关文章

HDFS概述(1)————Block块大小设置

以下内容转自:http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral http://snglw.blog.51cto.com/5832405/1643587 小文件BLOCK占用 [小于块大小的小文件不会占用整个HDFS块空间.也就是说,较多的小文件会占用更多的NAMENODE的内存(记录了文件的位置等信息):再者,在文件处理时,可能会有较大的网络开销.] 一个常

Hadoop如何修改HDFS文件存储块大小

一. 临时修改可以在执行上传文件命令时,显示地指定存储的块大小.1. 查看当前 HDFS文件块大小我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz  文件存储块大小.1.1 终端命令方式查看[[email protected] hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz51200单位为B(字节)1.2  或页面方式查看打开haddop datanode节点的hd

Hdfs block数据块大小的设置规则

1.概述 hadoop集群中文件的存储都是以块的形式存储在hdfs中. 2.默认值 从2.7.3版本开始block size的默认大小为128M,之前版本的默认值是64M. 3.如何修改block块的大小? 可以通过修改hdfs-site.xml文件中的dfs.blocksize对应的值. 注意:在修改HDFS的数据块大小时,首先停掉集群hadoop的运行进程,修改完毕后重新启动. 4.block块大小设置规则 在实际应用中,hdfs block块的大小设置为多少合适呢?为什么有的是64M,有的

HDFS概述(2)————Block块大小设置

参考: HDFS概述(4)----HDFS权限 HDFS概述(3)----HDFS Federation HDFS概述(1)----HDFS架构 问题 Q: 一个常被问到的一个问题是: 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ,那么HDFS会实际占用Linux file system的多大空间? A: 答案是实际的文件大小,而非一个块的大小. 以下内容转自: http://blog.csdn.net/samhacker/article/detail

LibRTMP优化之调整输出块大小

1. 为什么要调整输出块大小 首先在RTMP_Connect0函数中LibRTMP是关闭了Nagle算法这个TCP选项的,为了实时性这样做是好的,但是要注意到LibRTMP的结构体RTMP的成员是有m_outChunkSize,并且在RTMP_Init函数中被初始化了默认值128,然后整个LibRTMP代码没有改变m_outChunkSize的接口函数,内部也没有改变m_outChunkSize的实现逻辑,也没有发送改变块大小的消息给流媒体服务器的代码逻辑,关闭Nagle加如此小的块大小会导致很

洛谷P1141 //bfs求无向图的子连通块大小(多次询问)

http://www.luogu.org/problem/show?pid=1141 多询问题,求无向图的子连通块大小. 直接bfs,读一个搜一个,过60: 100%的点1,000,000个点,100,000次询问,显然是记忆化. 我很弱,最开始开了个数组记录每个点属于的连通块的第一个点的坐标,然后写了一堆,自己都烦. 后来问某大神,似拨开云雾见到了青天.用cnt记录连通块的" 名字 ". 学会了这一招,不代表过了. 我还是读一个点,如果访问过就输出,没访问就dfs,然后每dfs就循环

修改VNC分辨率大小

实验系统是centos6.5,在被连接的机器上需要安装vncserver. 1.第一种方法:使用geometry参数进行调整 使用man命令获得关于geometry参数的描述 [[email protected] ~]# man vncserver --        -geometry widthxheight               Specify the size of the desktop to be created. Default is 1024x768. -- 可见,默认的分

Android - 使用PS修改PNG图片大小

使用PS修改PNG图片大小 本文地址:http://blog.csdn.net/caroline_wendy 1. 缩放图片 在UI设计时,PNG的图像可能过大或过小,尽量不要在程序中适配图片,如拉伸(scaleType=fixXY),会造成模糊. 把PNG图片,拖入PS中,点击[图像]->[图像大小](Alt+Command+I),即可调整: 即可. 2. 剪裁图片 如果需要剪裁图片,选择[裁剪工具](C),根据选择框和比例,自由拖动. 即可.

Eclipse(MyEclipse)使用技巧——修改注释字体大小

Eclipse在安装完成后,注释的字体大小远远小于代码的大小,按照网上查的相关信息 窗口--首选项--常规--外观--颜色和字体--基本--文本字体--编辑 Window -->Preferences --> General --> Appearance --> Colors and Fonts -->Basic --> Text Font --> Edit --> 大小 ,进行了修改后,代码与注释字体是整体都变大了,但是注释的字体还是小于代码,这跟我想要的