hadoop文件命令

The File System (FS) shell includes various shell-like commands that directly interact with the Hadoop Distributed File System (HDFS) as well as other file systems that Hadoop supports, such as Local FS, HFTP FS, S3 FS, and others. The FS shell is invoked by:

bin/hadoop fs <args>

appendToFile

Usage: hadoop fs -appendToFile <localsrc> ... <dst>

cat

Usage: hadoop fs -cat URI [URI ...]

checksum

Usage: hadoop fs -checksum URI

chgrp

Usage: hadoop fs -chgrp [-R] GROUP URI [URI ...]

chmod

Usage: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

chown

Usage: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

copyFromLocal

Usage: hadoop fs -copyFromLocal <localsrc> URI

copyToLocal

Usage: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

count

Usage: hadoop fs -count [-q] [-h] [-v] <paths>

cp

Usage: hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

df

Usage: hadoop fs -df [-h] URI [URI ...]

du

Usage: hadoop fs -du [-s] [-h] URI [URI ...]

dus

Usage: hadoop fs -dus <args>

expunge

Usage: hadoop fs -expunge

find

Usage: hadoop fs -find <path> ... <expression> ...

get

Usage: hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

getfacl

Usage: hadoop fs -getfacl [-R] <path>

getfattr

Usage: hadoop fs -getfattr [-R] -n name | -d [-e en] <path>

getmerge

Usage: hadoop fs -getmerge <src> <localdst> [addnl]

help

Usage: hadoop fs -help

ls

Usage: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>

lsr

Usage: hadoop fs -lsr <args>

mkdir

Usage: hadoop fs -mkdir [-p] <paths>

moveFromLocal

Usage: hadoop fs -moveFromLocal <localsrc> <dst>

moveToLocal

Usage: hadoop fs -moveToLocal [-crc] <src> <dst>

mv

Usage: hadoop fs -mv URI [URI ...] <dest>

put

Usage: hadoop fs -put <localsrc> ... <dst>

rm

Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

rmdir

Usage: hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

rmr

Usage: hadoop fs -rmr [-skipTrash] URI [URI ...]

setfacl

Usage: hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]

setfattr

Usage: hadoop fs -setfattr -n name [-v value] | -x name <path>

setrep

Usage: hadoop fs -setrep [-R] [-w] <numReplicas> <path>

stat

Usage: hadoop fs -stat [format] <path> ...

tail

Usage: hadoop fs -tail [-f] URI

test

Usage: hadoop fs -test -[defsz] URI

text

Usage: hadoop fs -text <src>

touchz

Usage: hadoop fs -touchz URI [URI ...]

truncate

Usage: hadoop fs -truncate [-w] <length> <paths>

usage

Usage: hadoop fs -usage command

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html

时间: 2024-10-05 16:55:15

hadoop文件命令的相关文章

Hadoop 文件命令

* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp * * 上传文件 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下 *

Hadoop常用命令

Hadoop下有一些常用的命令,通过这些命令可以很方便操作Hadoop上的文件. 1.查看指定目录下的内容 语法: hadoop fs -ls 文件目录 2.打开某个已存在的文件 语法: hadoop fs -cat 文件地址 [ | more] []表示的是可选命令 3.将本地文件存到Hadoop 语法: hadoop fs -put 本地文件地址 Hadoop目录 4.将Hadoop上的文件下载到本地文件夹内 语法: hadoop fs -get Hadoop目录 本地文件目录 5.删除Ha

Hadoop Shell命令字典(可收藏)

可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何显示当前路径下的所有文件夹和文件7.rm删除文件失败的原因什么?8.如何查看文件的创建时间9.查看文件命令的内容有哪些?能否说出三种?10.如何判断文件是否存在?11.如何创建0字节文件 对于命令,我们一次性记住,可能以后又忘记了,这里大家用到的时候,可以查看一下. 调用文件系统(FS)Shell命

Linux与hadoop相关命令

一:Linux基本命令: 1.查看ip地址: $ ifconfig 2.清空屏幕: $ clear 3.切换root用户: $ su 4.查看主机静态ip地址: $ more /etc/sysconfig/network-scripts/ifcfg-eth0 5.主机名称: 查看主机名称:  $ hostname      修改主机名: $ hostname 主机名 6.目录: 查看当前目录:$ pwd           进入当前目录下的子目录:$ cd (如$ cd data)       

Hadoop Shell命令大全

hadoop支持命令行操作HDFS文件系统,并且支持shell-like命令与HDFS文件系统交互,对于大多数程序猿/媛来说,shell-like命令行操作都是比较熟悉的,其实这也是Hadoop的极大便利之一,至少对于想熟悉乃至尽快熟练操作HDFS的人来说. 由于平时在工作中经常用到Hadoop Shell命令来操作HDFS上的文件,有时候因为Hadoop Shell命令不熟悉,需要重新查找:或者需要某个命令的参数:再或者需要知晓相似命令的差异:于是便有了本文,对于Hadoop Shell命令的

hadoop fsck命令详解

hadoop fsck命令详解 hadoop  fsck Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]        <path>             检查这个目录中的文件是否完整 -move               破损的文件移至/lost+found目录        -delete             删除破损的文件 -o

HDFS文件操作(基本文件命令)

文件列表命令: 如果你想看到所有的字目录,则可以使用Hadoop的lsr命令: 在本地的文件系统创建一个名为example.txt的文本文件,用Hadoop的命令put将它从本地文件系统复制到HDFS上去: 注意命令最后一个参数是一个句点(.).这意味着我把文件放入了默认的工作目录,等价于 bin/hadoop fs -put examples.txt /user/hadoop 重新执行列出文件的命令: Hadoop的get命令与put命令截然相反,它从HDFS中复制文件到本地文件系统.比如说我

第二课:hdfs集群集中管理和hadoop文件操作

(1)观察集群配置情况 [[email protected] ~]# hdfs dfsadmin -report (2)web界面观察集群运行情况 使用netstat命令查看端口监听 [[email protected] ~]# netstat -ntlp 浏览器地址栏输入:http://192.168.56.100:50070 (3)对集群进行集中管理 a) 修改master上的/usr/local/hadoop/etc/hadoop/slaves文件 [[email protected] h

Hadoop常用命令总结

一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题). 2.单进程启动. sbin/start-dfs.sh ---------------     sbin/hadoop-daemons.sh --config .. --hostname .. start