Hadoop----hdfs dfs常用命令的使用

-mkdir  创建目录  hdfs dfs -mkdir [-p] < paths>

-ls  查看目录下内容,包括文件名,权限,所有者,大小和修改时间  hdfs dfs -ls [-R] < args>

-put  将本地文件或目录上传到HDFS中的路径  hdfs dfs -put < localsrc> … < dst>

-get  将文件或目录从HDFS中的路径拷贝到本地文件路径  hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>  选项:-ignorecrc选项复制CRC校验失败的文件。-crc选项复制文件和CRC。

-du  显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个  hdfs dfs -du [-s] [-h] URI [URI …]  选项:-s选项将显示文件长度的汇总摘要,而不是单个文件。-h选项将以“人类可读”的方式格式化文件大小(例如64.0m而不是67108864)

-dus  显示文件长度的摘要。  hdfs dfs -dus < args>  注意:不推荐使用此命令。而是使用hdfs dfs -du -s。

-mv  在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。

-cp  在HDFS文件系统中,将文件或目录复制到目标路径下  hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>   选项:-f选项覆盖已经存在的目标。-p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果指定了-p且没有arg,则保留时间戳,所有权和权限。如果指定了-pa,则还保留权限,因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。

-copyFromLocal  从本地复制文件到hdfs文件系统(与-put命令相似)  hdfs dfs -copyFromLocal < localsrc> URI  选项:如果目标已存在,则-f选项将覆盖目标。

-copyToLocal  复制hdfs文件系统中的文件到本地 (与-get命令相似)  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>  

-rm  删除一个文件或目录  hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]  选项:如果文件不存在,-f选项将不显示诊断消息或修改退出状态以反映错误。-R选项以递归方式删除目录及其下的任何内容。-r选项等效于-R。-skipTrash选项将绕过垃圾桶(如果已启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这非常有用。

-cat  显示文件内容到标准输出上。  hdfs dfs -cat URI [URI …]

-text  获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。  hdfs dfs -text

-touchz  创建一个零长度的文件。  hdfs dfs -touchz URI [URI …]

-stat  显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)  hdfs dfs -stat URI [URI …]

-tail  显示文件的最后1kb内容到标准输出  hdfs dfs -tail [-f] URI  选项:  -f选项将在文件增长时输出附加数据,如在Unix中一样。

-count  统计与指定文件模式匹配的路径下的目录,文件和字节数  hdfs dfs -count [-q] [-h] < paths>

-getmerge  将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来)  hdfs dfs -getmerge < src> < localdst> [addnl]   注:合并后的文件位于当前目录,不在hdfs中,是本地文件

-grep  从hdfs上过滤包含某个字符的行内容  hdfs dfs -cat < srcpath> | grep 过滤字段

原文地址:https://www.cnblogs.com/zyanrong/p/11774997.html

时间: 2024-10-17 20:57:28

Hadoop----hdfs dfs常用命令的使用的相关文章

hadoop dfs常用命令

hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数.文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop dfs -dus xxx 上传下载hadoop dfs -put source targethadoop dfs -get source tartget其他命令可以使用如下命令查看:hadoop d

Hadoop HDFS文件常用操作及注意事项

1.Copy a file from the local file system to HDFS The srcFile variable needs to contain the full name (path + file name) of the file in the local file system. The dstFile variable needs to contain the desired full name of the file in the Hadoop file s

hadoop之linux常用命令

Linux的命令后面会有命令选项,有的选项还有选项值.选项的前面有短横线“-”,命令.选项.选项值之间使用空格隔开.有的命令没有选项,会有参数.选项是命令内置的功能,参数是用户提供的符合命令格式的内容. 1.1.1.           命令提示符 在桌面上点击鼠标右键,在弹出菜单中选择“Open in Terminal”, 系统会打开终端,类似于Windows下的命令行.Windows的命令行是dos环境,Linux下的命令行是shell环境.我们的所有命令都是在shell下运行的,后面所有章

Hadoop学习之常用命令

HADOOP基本操作命令 在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用. 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop. 启动与关闭 启动HADOOP 进入HADOOP_HOME目录. 执行sh bin/start-all.sh 进入HADOOP_HOME目录. 执行sh bin/stop-all.sh 关闭HADOOP 文件操作 Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似.并且支持通配符,如*.

hadoop 的一些常用命令

题记: 好吧玩起来命令就是没有 写代码舒服那么一点点,但是我们一点都不能懈怠啊, hive 操作的文件需要从这里加载 与linux 的命令相似, 命令行开头为 hadoop fs -(破折号) ls / 列出文件或者目录 cat hadoop fs -cat ./hello.txt /opt/old/htt/hello.txt 查看文件 可以转储目录 或者文件 转储到 hadoop hadoop fs -put ./hello.txt /opt/old/htt/hello.txt 下载文件 ha

hadoop HDFS的shell命令

http://www.cnblogs.com/sunddenly/p/3981583.html hadoopshell实战 http://www.cnblogs.com/sunddenly/category/611923.html hadoop

Hadoop常用命令总结

一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题). 2.单进程启动. sbin/start-dfs.sh ---------------     sbin/hadoop-daemons.sh --config .. --hostname .. start

hadoop hdfs学习(一)

一.HDFS的简介及优缺点 HDFS(Hadoop Distributed File System)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于存储在HDFS中的数据.HDFS是一个分布式文件系统,以流式数据访问模式存储超大文件,将数据分块存储到一个商业硬件集群内的不同机器上.   这里重点介绍其中涉及到的几个概念:(1)超大文件.目前的hadoop集群能

Hadoop HDFS Tools

Hadoop HDFS Tools package cn.buaa; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.