hadoop教程之HDFS常用文件操作命令

北京尚学堂提供

1.ls

hadoop fs -ls / 
列出hdfs文件系统根目录下的目录和文件

hadoop fs -ls -R / 
列出hdfs文件系统所有的目录和文件

2.put

hadoop fs -put < local file> < hdfs file > 
hdfs file的父目录一定要存在,否则命令不会执行

hadoop fs -put < local fileor dir >…< hdfs dir > 
hdfs dir 一定要存在,否则命令不会执行

hadoop fs -put - < hdsffile> 
从键盘读取输入到hdfsfile中,按Ctrl+D结束输入,hdfs file不能存在,否则命令不会执行

2.1.moveFromLocal

hadoop fs -moveFromLocal <local src > … < hdfs dst > 
与put相类似,命令执行后源文件 local src 被删除,也可以从从键盘读取输入到hdfs file中

2.2.copyFromLocal

hadoop fs -copyFromLocal <local src > … < hdfs dst > 
与put相类似,也可以从从键盘读取输入到hdfs file中

3.get

hadoop fs -get < hdfs file> < local file or dir> 
local file不能和hdfs file名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地

hadoop fs -get < hdfs fileor dir > … < local dir > 
拷贝多个文件或目录到本地时,本地要为文件夹路径 
注意:如果用户不是root, local 路径要为用户文件夹下的路径,否则会出现权限问题,

3.1.moveToLocal

当前版本中还未实现此命令

3.2.copyToLocal

hadoop fs -copyToLocal <local src > … < hdfs dst > 
与get相类似

4.rm

hadoop fs -rm < hdfs file> … 
hadoop fs -rm -r < hdfs dir>… 
每次可以删除多个文件或目录

5.mkdir

hadoop fs -mkdir < hdfspath> 
只能一级一级的建目录,父目录不存在的话使用这个命令会报错

hadoop fs -mkdir -p < hdfspath> 
所创建的目录如果父目录不存在就创建该父目录

6.getmerge

hadoop fs -getmerge < hdfsdir > < local file > 
将hdfs指定目录下所有文件排序后合并到local指定的文件中,文件不存在时会自动创建,文件存在时会覆盖里面的内容

hadoop fs -getmerge -nl <hdfs dir > < local file > 
加上nl后,合并到local file中的hdfs文件之间会空出一行

7.cp

hadoop fs -cp < hdfs file> < hdfs file > 
目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件还存在

hadoop fs -cp < hdfs fileor dir >… < hdfs dir > 
目标文件夹要存在,否则命令不能执行

8.mv

hadoop fs -mv < hdfs file> < hdfs file > 
目标文件不能存在,否则命令不能执行,相当于给文件重命名并保存,源文件不存在

hadoop fs -mv < hdfs fileor dir >… < hdfs dir > 
源路径有多个时,目标路径必须为目录,且必须存在。 
注意:跨文件系统的移动(local到hdfs或者反过来)都是不允许的

9.count

hadoop fs -count < hdfspath > 
统计hdfs对应路径下的目录个数,文件个数,文件总计大小 
显示为目录个数,文件个数,文件总计大小,输入路径

10.du

hadoop fs -du < hdsfpath> 
显示hdfs对应路径下每个文件夹和文件的大小

hadoop fs -du -s < hdsfpath> 
显示hdfs对应路径下所有文件和的大小

hadoop fs -du - h < hdsfpath> 
显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示,例如用64M代替67108864

11.text

hadoop fs -text < hdsf file> 
将文本文件或某些格式的非文本文件通过文本格式输出

12.setrep

hadoop fs -setrep -R 3 <hdfs path > 
改变一个文件在hdfs中的副本个数,上述命令中数字3为所设置的副本个数,-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作

13.stat

hdoop fs -stat [format] <hdfs path > 
返回对应路径的状态信息 
[format]可选参数有:%b(文件大小),%o(Block大小),%n(文件名),%r(副本个数),%y(最后一次修改日期和时间) 
可以这样书写hadoopfs -stat %b%o%n < hdfs path >,不过不建议,这样每个字符输出的结果不是太容易分清楚

14.tail

hadoop fs -tail < hdfs file> 
在标准输出中显示文件末尾的1KB数据

15.archive

hadoop archive -archiveNamename.har -p < hdfs parent dir > < src >* < hdfs dst > 
命令中参数name:压缩文件名,自己任意取;< hdfsparent dir > :压缩文件所在的父目录;<src >*:要压缩的文件名;<hdfs dst >:压缩文件存放路径 
示例:hadooparchive -archiveName hadoop.har -p /user 1.txt 2.txt /des 
示例中将hdfs中/user目录下的文件1.txt,2.txt压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下,如果1.txt,2.txt不写就是将/user目录下所有的目录和文件压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下 
显示har的内容可以用如下命令: 
hadoop fs -ls /des/hadoop.jar

显示har压缩的是那些文件可以用如下命令

hadoop fs -ls -Rhar:///des/hadoop.har 
**注意:**har文件不能进行二次压缩。如果想给.har加文件,只能找到原来的文件,重新创建一个。har文件中原来文件的数据并没有变化,har文件真正的作用是减少NameNode和DataNode过多的空间浪费。

16.balancer

hdfs balancer 
如果管理员发现某些DataNode保存数据过多,某些DataNode保存数据相对较少,可以使用上述命令手动启动内部的均衡过程

17.dfsadmin

hdfs dfsadmin -help 
管理员可以通过dfsadmin管理HDFS,用法可以通过上述命令查看

hdfs dfsadmin -report 
显示文件系统的基本数据

hdfs dfsadmin -safemode <enter | leave | get | wait > 
enter:进入安全模式;leave:离开安全模式;get:获知是否开启安全模式; 
wait:等待离开安全模式

18.distcp

用来在两个HDFS之间拷贝数据

更多文档更新请到www.sxt.cn】【专业JAVA培训机构,真正零首付入学www.bjsxt.com

北京尚学堂-cctv央视网广告合作伙伴,专业IT培训机构,口碑最好的java培训、iOS培训、android培训、hadoop大数据培训、web前端培训机构,0元入学,先就业后付款,平均就业薪水9500以上

时间: 2024-10-06 15:57:57

hadoop教程之HDFS常用文件操作命令的相关文章

hadoop入门之HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看.修改HDFS 上的文件.进一步,HDFS的操作命令和Unix/Linux 的命令名称和格式相当一致,因而学习HDFS 命令的成本也大为缩小. HDFS 的基本命令格式如下: bin/hadoop dfs–cmd <args> 这里cmd 就是具体的命令,记住cmd 前面的短线"–"千万不要忽略.     1.ls hadoop fs -ls /     列出hd

HDFS常用文件操作命令及注意事项

HDFS 文件操作命令 HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看.修改HDFS 上的文件.进一步,HDFS的操作命令和Unix/Linux 的命令名称和格式相当一致,因而学习HDFS 命令的成本也大为缩小. HDFS 的基本命令格式如下: bin/hadoop dfs–cmd <args> 这里cmd 就是具体的命令,记住cmd 前面的短线“–”千万不要忽略.     1.ls hadoop fs -ls /     列出hdfs文件系统根目录下

Hadoop备战:hdfs常用命令(可能有你不知道的)

除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法. 下面是所有命令的介绍,介绍之前先定义一下参数的意义: 1.    斜体:表示用户输入的变量. 2.  path:表示文件名或目录名. 3.    path-:表示一个或多个文件名或目录名. 4.    file:表

Playmaker全面实践教程之Playmaker常用工具

Playmaker全面实践教程之Playmaker常用工具 Playmaker常用工具 Playmaker插件搭载了8个工具:FSM Browser.State Browser.Templates.Tools.Actions.Globals.Events和FSM Log.熟练的使用这些工具,可以让开发者更全面的掌控当前的游戏项目,方便的查看和管理使用Playmaker创建的状态机.本章将详解介绍这些常用工具. Playmaker查看/管理项目中的状态机 我们可以使用FSM Browser(状态机

Linux命令大全----常用文件操作命令

林炳文Evankaka原创作品.转载请注明出处http://blog.csdn.net/evankaka 摘要:本文主要讲了Linux命令大全----常用文件操作命令,并附有实例 ls 这个命令是经常用到的,用来显示当前目录下有哪些文件 ,ls最常用的参数有三个: -a -l -F.ls -a说明:Linux上的文件以"."开头的文件被系统视为隐藏文件,仅用ls命令是看不到他们的,而用ls -a除了显示 一般文件名外,连隐藏文件也会显示出来. ls -l(这个参数是字母L的小写,不是数

CentOS常用文件操作命令[百度博客搬家]

路径操作的CentOS常用命令 现在整理如下(百度博客搬家) cd pwd NO1. 显示当前路径 [[email protected] root]# pwd NO2. 返回用户主目录 [[email protected] root]# cd NO3. 改变到其它路径 [[email protected] root]# cd /etc NO4. 返回到上一级目录 [[email protected] root]# cd .. NO5. 返回到根目录 [[email protected] root

linux常用文件操作命令

目录 本文列出了linux常用的文件操作命令,如 解压缩文件 查看文件内容 编辑文件内容 创建文件/删除文件 创建目录/删除目录 复制/移动文件(夹) 查看文件/目录当前绝对路径 查看文件(夹)大小 查看/修改文件(夹)权限 修改文件(夹)名称 查看目录下文件夹/文件 正文 解压缩文件 tar –xvf file.tar //解压 tar包 tar -xzvf file.tar.gz //解压tar.gz tar -xjvf file.tar.bz2 //解压 tar.bz2 tar –xZvf

12 hdfs常用文件、目录拷贝操作、删除操作

package com.da.hbase.tool.utils; import com.da.hbase.tool.common.Const; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.h

C# .Net :Excel NPOI导入导出操作教程之将Excel文件读取并写到数据库表,示例分享

using (FileStream fileReader = File.OpenRead(@"C:\Users\Administrator\Desktop\112.xls"))        {            //创建工作簿对象接收文件流(Excel信息)            IWorkbook workbook = new HSSFWorkbook(fileReader);            //工作簿共有几个表            //int count = wor