Hadoop如何修改HDFS文件存储块大小

一、 临时修改可以在执行上传文件命令时,显示地指定存储的块大小。
1. 查看当前 HDFS文件块大小
我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz  文件存储块大小。
1.1 终端命令方式查看
[[email protected] hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz
51200
单位为B(字节)
1.2  或页面方式查看
打开haddop datanode节点的hdfs监控页面:
http://hadoop01:50070

如下所示:

二、永久修改
这个需要修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。
如下:

修改后参数

把配置同步到其它节点,并重启hdfs。
[[email protected] hadoop-1.1.2]$ bin/stop-dfs.sh
no namenode to stop
hadoop02: stopping datanode
hadoop01: stopping secondarynamenode
[[email protected] hadoop-1.1.2]$ bin/start-dfs.sh
starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out

重新查看TEST/jdk-7u25-linux-x64.gz 文件存储的块大小:

重新上传文件到HDFS,并重命名为 比较用_jdk-7u25-linux-x64.gz

时间: 2024-12-05 15:08:41

Hadoop如何修改HDFS文件存储块大小的相关文章

myeclipse修改xml文件字体大小

myeclipse中怎么修改xml文件的字体大小呢?网上搜了很多,得到的答案基本都是: window--preferences--General--appearance--colors   and   fonts--basic--text font 其实这项只能修改java文件的字体大小,并不能修改xml文件的字体,如果要修改xml文件字体大小,点击 修改这项!

CAD编辑器中修改CAD文件文字大小的办法

CAD绘图是一个复杂的过程,我们需要考虑到方方面面,其中出现的问题也不少,当我们想要修改CAD文字大小的时候该怎么办呢? 迅捷CAD编辑器一款集CAD查看.编辑.转换于一体的CAD编辑工具,我们可以借助于该软件改变CAD文字大小,方法如下: 1.运行迅捷CAD编辑器http://cad.xjpdf.com,在软件界面中打开要编辑的CAD文件,在左上角点击文件,切换到文件列表,点击打开,然后在弹出的文件夹中找到要编辑的CAD文件打开即可. 2.如果只是因为看不清文字想要把相应的文字内容大方,那么在

Eclipse 修改java文件字体大小,xml文件字体大小

java文件字体大小: 1. Window---> preferences ---> General ---> Appearance ---> Java ---> Java Editor Text Font xml文件字体大小: 1. Window---> preferences ---> General ---> Appearance ---> Base ---> Text Font

hadoop学习记录--hdfs文件上传过程源码解析

本节并不大算为大家讲接什么是hadoop,或者hadoop的基础知识因为这些知识在网上有很多详细的介绍,在这里想说的是关于hdfs的相关内容.或许大家都知道hdfs是hadoop底层存储模块,专门用于存放数据,那么在进行文件上传的时候hdfs是如何进行的呢?我们按照宏观和微观来进行相关解析工作. 首先需要向大家解释如下几个概念: (1) secondaryNamenode: 其实起初我对SN的理解也和大部分人相同,认为SN是NN(nameNode)的一个实时热备份实现HA,并且在一次笔试的过程中

浅谈hadoop中mapreduce的文件分发

最近在做数据分析的时候,需要在mapreduce中调用c语言写的接口,此时就需要把动态链接库so文件分发到hadoop的各个节点上,原来想自己来做这个分发,大概过程就是把so文件放在hdfs上面,然后做mapreduce的时候把so文件从hdfs下载到本地,但查询资料后发现hadoop有相应的组件来帮助我们完成这个操作,这个组件就是DistributedCache,分布式缓存,运用这个东西可以做到第三方文件的分发和缓存功能,下面详解: 如果我们需要在map之间共享一些数据,如果信息量不大,我们可

大数据-Hadoop生态(5)-HDFS概述

HDFS产生背景 HDFS优缺点 HDFS组成架构 HDFS文件块大小 原文地址:https://www.cnblogs.com/duoduotouhenying/p/10084446.html

hadoop教程之HDFS常用文件操作命令

北京尚学堂提供 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file> < hdfs file > hdfs file的父目录一定要存在,否则命令不会执行 hadoop fs -put < local fileor dir >-< hdfs dir > hdfs dir 一定要存在,否则

修改HDFS块大小

环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 1.查看当前块大小,默认64M. [[email protected] hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt67108864 2.修改hdfs-site.conf配置文件,增加全局参数dfs.block.size. [[email protected] hadoop-1.2.1]$ cat conf/hdfs-site.xml

hadoop入门之HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看.修改HDFS 上的文件.进一步,HDFS的操作命令和Unix/Linux 的命令名称和格式相当一致,因而学习HDFS 命令的成本也大为缩小. HDFS 的基本命令格式如下: bin/hadoop dfs–cmd <args> 这里cmd 就是具体的命令,记住cmd 前面的短线"–"千万不要忽略.     1.ls hadoop fs -ls /     列出hd