HDFS基本命令fs的使用操作

HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。

1.hadoop fs -help 查看fs使用帮助

2.hadoop fs -mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机的

3.hadoop fs -ls 查看文件系统当前目录下的文件

4.hadoop fs -rmdir 删除文件夹

5.hadoop fs -ls -R / 或者 hadoop fs -lsr / 递归显示/目录下的文件

6.hadoop fs -put liunx下的路径 HDFS文件系统路径 Linux上的文件上传到hadoop里面去

 hadoop fs  -put 1.txt /  就是把当前目录下的1.txt复制到HDFS/下

7.hadoop fs -get HDFS文件系统路径 liunx下的路径 hadoop上的文件上传到Linux里面去

 hadoop fs  -get /1.txt 就是把HDFS/下的1.txt复制到当前目录下

8.hadoop fs -moveFromLocal 1.txt /lyx02/

 hadoop fs -moveFromLocal 1.txt /lyx02/ 就是把当前目录下的1.txt剪切到HDFS/lyx02/下面

9.hadoop fs -cat /1.txt 查看文件内容

10.hadoop fs -tail /1.txt 查看文件结尾内容

11.hadoop fs --chgrp 、-chmod、-chown 和linux文件系统中的用法一样，修改文件所属权限

 hadoop fs -chmod  777  /1.txt
 hadoop fs -chown root:hadoop101  /1.txt

12.hadoop fs -cp 从HDFS的一个路径拷贝到HDFS的另一个路径

13.hadoop fs -cp 在HDFS移动文件

14.hadoop fs -df -h / 查看HDFS内存使用情况

15.hadoop fs -du -s -h /1.txt 查看文件夹或文件的大小信息

16.hadoop fs -touchz /2.txt 创建一个空文件

17.hadoop fs -count/lyx02 查看某个文件夹下文件数量和大小

原文地址：https://www.cnblogs.com/lyx666/p/12343573.html

时间： 2024-08-10 19:11:34

HDFS基本命令fs的使用操作的相关文章

HDFS基本命令行操作及上传文件的简单API

一.HDFS基本命令行操作: 1.HDFS集群修改SecondaryNameNode位置到hd09-2 (1)修改hdfs-site.xml <configuration> //配置元数据存储位置 <property> <name>dfs.namenode.name.dir</name> <value>/root/hd/dfs/name</value> </property> //配置数据存储位置 <property

HDFS基础和java api操作

1. 概括 适合一次写入多次查询情况,不支持并发写情况 通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位) HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间 2. fs 可以使用hdfs shell操作hdfs,常用 fs命令如下: eg: hadoop fs -cat fi

HDFS的shell和API操作

1. HDFS的shell操作 hadoop version //查看版本 hadoop fs -appendToFile src(Linux中的文件) dest(hdfs目录下的文件) //追加 hadoop fs -cat file(hdfs目录下的文件) //查看文件内容 Hadoop fs -tail file(hdfs目录下的文件) //查看文件末尾1kb的数据 hadoop fs -checksum file(hdfs目录下的文件) //校验当前文件是否正确 hadoop fs -c

Hadoop之HDFS(客户端操作) 2 HDFS的API操作 3 HDFS的I/O流操作

2 HDFS的API操作 2.1 HDFS文件上传(测试参数优先级) 1．编写源代码 // 文件上传 @Test public void testPut() throws Exception { Configuration conf = new Configuration(); conf.set("dfs.replication", "2"); // 1.获取fs对象 FileSystem fs = FileSystem.get(new URI("hdfs

CentOS学习笔记--基本命令--目录的相关操作

Linux基本命令--目录的相关操作 常见的处理目录的命令吧: cd:变换目录 pwd:显示目前的目录 mkdir:创建一个新的目录 rmdir:删除一个空的目录 cd (变换目录) cd是Change Directory的缩写,这是用来变换工作目录的命令.注意,目录名称与cd命令之间存在一个空格. [[email protected] ~]# cd [相对路径或绝对路径] # 最重要的就是目录的绝对路径与相对路径,还有一些特殊目录的符号罗! [[email protected] ~]# cd

大数据学习之HDFS基本命令操作05

1)hdfs的客户端 1.网页形式->测试用 http://192.168.40.11:50070/dfshealth.html#tab-overview 2.命令行形式->测试用 3.企业级API 2)查看帮助 hdfs dfs -help 3)查看当前目录信息 hdfs dfs -ls / 3)上传文件 hdfs dfs -put /本地路径 /hdfs路径 4)剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt 5)下载文件到本地 hdfs dfs -g

hadoop2.5.2学习及实践笔记（五）—— HDFS shell命令行常见操作

附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [[email protected] hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <lo

HDFS伪分布式安装部署操作-实操

-安装步骤说明: 1.安装jdk的操作 1-1 检查centos6.8自带的jdk 1-2 卸载自带的jdk(使用root帐号) 1-3 解压缩jdk(root帐号) 1-4 配置环境变量 1-5 检查jdk是否生效 2.配置ssh免密登录 2-1 为什么需要配置ssh免密登录: 2-2 安装ssh 2-3 验证ssh是否安装成功 2-4 生成公钥和私钥 2-5 复制公钥并改名 2-6 验证SSH免密是否生效 3.安装hadoop伪分布式环境 3-1 官网下载 3-2 解压缩 3-3 修改配置文

nodejs - fs模块 - 文件操作

1, fs.stat  检测是文件还是目录 2, fs.mkdir 创建目录 var fs = require('fs') fs.mkdir('./dir',function(err){ if(err){ console.log(err) return false } console.log('mkdir has been complete') }) 3, fs.writeFile 创建写入文件 如果文件不存在会自动创建文件, 存在则覆盖. var fs = require('fs') fs.w