HDFS常用命令总结

hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。
hadoop fs -ls  显示当前目录结构，-ls -R 递归显示目录结构
hadoop fs -mkdir  创建目录
hadoop fs -rm   删除文件，-rm -R 递归删除目录和文件
hadoop fs -put  [localsrc] [dst]  从本地加载文件到HDFS
hadoop fs -get  [dst] [localsrc]  从HDFS导出文件到本地
hadoop fs - copyFromLocal [localsrc] [dst]  从本地加载文件到HDFS，与put一致
hadoop fs -copyToLocal [dst] [localsrc]  从HDFS导出文件到本地，与get一致
hadoop fs -test -e  检测目录和文件是否存在，存在返回值$?为0，不存在返回1
hadoop fs -text  查看文件内容
hadoop fs -du  统计目录下各文件大小，单位字节。-du -s 汇总目录下文件大小，-du -h 显示单位
hadoop fs -tail  显示文件末尾
hadoop fs -cp [src] [dst] 从源目录复制文件到目标目录
hadoop fs -mv [src] [dst] 从源目录移动文件到目标目录

原文链接：https://blog.csdn.net/afafawfaf/article/details/80254989

原文地址：https://www.cnblogs.com/tjp40922/p/12670542.html

时间： 2024-08-29 09:14:25

HDFS常用命令总结的相关文章

hdfs常用命令

hadoop hdfs常用命令 hadoop fs -ls /user/deploy/recsys/workspace/ouyangyewei 查看ouyangyewei目录文件 hadoop fs -mkdir /user/deploy/recsys/workspace/ouyangyewei/input 在ouyangyewei目录下创建input文件夹 hadoop fs -rm /user/deploy/recsys/workspace/ouyangyewei/input/input.t

Hadoop备战：hdfs常用命令（可能有你不知道的）

除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法. 下面是所有命令的介绍,介绍之前先定义一下参数的意义: 1.    斜体:表示用户输入的变量. 2.  path:表示文件名或目录名. 3.    path-:表示一个或多个文件名或目录名. 4.    file:表

[转]hadoop hdfs常用命令

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录.子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlig

大数据学习之五——HDFS常用命令

HDFS文件操作常用命令: (1)列出HDFS下的文件 hadoop  dfs  -ls  <目录> (2)上传文件 将Linux系统本地文件上传到HDFS中 hadoop  dfs  -put  <本地文件>  <HDFS文件> (3)下载文件 将HDFS 中的文件下载到Linux系统本地目录 hadoop   dfs  -get  <HDFS文件>  <本地文件> (4)查看文件 hadoop  dfs  -cat  <HDFS文件&g

hadoop学习笔记（三）：hdfs常用命令

一.hadoop fs 1.创建目录 [[email protected] hadoop-2.7.0]# hadoop fs -mkdir /testdir1 [[email protected] hadoop-2.7.0]# hadoop fs -ls / Found 2 items drwxr-xr-x - root supergroup 0 2018-05-07 11:27 /test drwxr-xr-x - root supergroup 0 2018-05-18 09:27 /tes

HDFS常用命令整理

简介: HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看.修改HDFS 上的文件.进一步,HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致,因而学习HDFS 命令的成本也大为缩小. 1.命令帮助 [[email protected] ~]$ hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ign

HDFS 常用命令行：

1. 查看各库的存储大小 hdfs dfs -du -h /user/hive/warehouse 2. 删除HDFS 文件 hdfs dfs -rmr 绝对路径名 例如:hdfs dfs -rmr /user/hive/warehouse/xhx_dw.db/dw_homework_question_detail_his_f_1d 3.  查看某库的表文件列表 hdfs  dfs -ls /user/hive/warehouse/xhx_ods.db 原文地址:https://www.cnbl

hadoop2.5.2学习及实践笔记（五）—— HDFS shell命令行常见操作

附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [[email protected] hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <lo

[0014] HDFS 常用JAVA 操作实战

目的: 学习用java进行的常用hdfs操作 参考: [0002] Hadoop HDFS cmd常用命令练手 环境: hadoop2.6.4 win7 下的eclipse环境调试已经配置好,参考前面的文章 代码: 1. 创建文件夹 1 package hdfs; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.FileSy