Hadoop HDFS的Shell操作实例

本文发表于本人博客

我们知道HDFS是Hadoop的分布式文件系统,那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧,这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。

先输入hadoop fs命令,会看到如下输出:

Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]

这个显示了hadoop fs支持的命令,比如(启动hadoop服务)在终端输入:

hadoop fs -ls /

也可以输入:

hadoop fs -ls hdfs://hadoop-master:9000/

如果不知道具体使用那么我们可以使用最后的一个命令[-help [cmd]],比如查看ls命令帮助输入:

hadoop fs -help ls

那么就会输出便于我们查看帮助:

-ls <path>:     List the contents that match the specified file pattern. If
                path is not specified, the contents of /user/<currentUser>
                will be listed. Directory entries are of the form
                        dirName (full path) <dir>
                and file entries are of the form
                        fileName(full path) <r n> size
                where n is the number of replicas specified for the file
                and size is the size of the file, in bytes.

至于我们在shell下操作,我想醉常见的莫过于创建文件夹、上传文件、删除文件文件夹、修改权限、查看文件内容这几个了,下面我来一个个说。



创建文件夹输入:

hadoop fs -mkdir /data

就会在根目录创建一个data文件夹;

可以使用下面命令查看:

hadoop fs -ls /

输出:

Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2014-12-15 19:00 /data
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr

这个格式很像linux下的shell哦,drwxr-xr-x开头的d代表的是目录,这个跟linux谁一样的了,第二个字符‘-’表示副本数,此时文件夹是没有的因为文件夹是逻辑结构组成的,只有文件才有值。具体说明可以参考hadoo fs -help ls。

现在上传一个文件至/data下,我们使用:

hadoop fs -put ./test.txt /data/

再使用下面命令查看:

hadoop fs -ls /data

输出:

Found 1 items
-rw-r--r--   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt

此时-rw-r--r--可以看出表示是文件,副本数1。

那下面我们来查看一下上传的内容是不是跟本地的一样,我们可以使用命令:

hadoop fs -text /data/test.txt

这里输出不在对比了。这时我们使用了新的命令-text。查看文件内容的命令,具体参考

hadoop fs -help text

现在我们对刚创建的/data文件夹进行权限修改,先看当前的权限:

Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2014-12-15 19:05 /data
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr

现在我们执行下面命令,把/data文件夹已经起下面的所有文件夹文件度改为777:

hadoop fs -chmod -R 777 /data

再使用下面命令查看:

hadoop fs -lsr /

结果:

drwxrwxrwx   - hadoop supergroup          0 2014-12-15 19:05 /data
-rw-rw-rw-   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local/hadoop
drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local/hadoop/tmp
drwxr-xr-x   - hadoop supergroup          0 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred
drwx------   - hadoop supergroup          0 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred/system
-rw-------   1 hadoop supergroup          4 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred/system/jobtracker.info

这时候的/data的权限已经更改了,连其文件夹下面的文件也更改了!不过这里我注意到这个文本文件的话即时更改为777但是执行权限也没有,不知道为什么。但是在linux是rwx的!下面我们再使用命令看看:

hadoop fs -chmod -R a+x /data

再使用:

hadoop fs -lsr /

结果就这里不显示了,但是还是未更改文本文件的执行权限,还是一样!可能真的是无法更改吧!

-rw-rw-rw-   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt

上面几个尝试了,感觉就跟linux一样了,简单有时在调试的时候可以执行命令查看下,即将结束那就把上面创建的文件夹删除吧,执行:

hadoop fs -rmr /data

当然还有这个命令:

hadoop fs -rm /data/test.txt

这里我就不说它们的区别的了,我想熟悉linxu命令的都应该知道了!

这次先到这里。坚持记录点点滴滴!

时间: 2024-11-09 16:13:38

Hadoop HDFS的Shell操作实例的相关文章

HDFS的shell操作

既然HDFS 是存取数据的分布式文件系统,那么对HDFS的操作,就是对文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对 HDFS 的操作命令类似于Linux 的shell 对文件的操作,只是在HDFS中,hadoop fs是主命令,其他像ls,mv,cp都是被作为该命令的选项. 以下表格列出一些常用的HDFS shell命令选项. 选项名称 使用格式 含义 -ls -ls <路径> 查看指定路径的当前目录结构 -lsr -lsr <路径>

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作(开发重点)+HDFS客户端操作(开发重点)+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode(面试开发重点)

第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)第3章 HDFS客户端操作(开发重点)3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O

Hadoop HDFS文件常用操作及注意事项

1.Copy a file from the local file system to HDFS The srcFile variable needs to contain the full name (path + file name) of the file in the local file system. The dstFile variable needs to contain the desired full name of the file in the Hadoop file s

Hadoop读书笔记(二)HDFS的shell操作

Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 1.shell操作 1.1所有的HDFS shell操作命名可以通过hadoop fs获取: [[email protected] ~]# hadoop fs Usage: java FsShell [-ls <path>] [-lsr <path>] [-du <path>] [-dus <path>

hadoop hdfs的java操作

访问hdfs上的文件并写出到输出台 /** * 访问hdfs上的文件并写出到输出台 * @param args */ public static void main(String[] args) { try { //将hdfs格式的url转换成系统能够识别的 URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); URL url = new URL("hdfs://hadoop1:9000/hello"); In

hadoop HDFS的shell命令

http://www.cnblogs.com/sunddenly/p/3981583.html hadoopshell实战 http://www.cnblogs.com/sunddenly/category/611923.html hadoop

Hadoop学习笔记_5_分布式文件系统HDFS --shell操作

分布式文件系统HDFS --shell操作 分布式文件系统[Distributed File System]概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 . 分布式文件系统特点: 是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般

Hadoop之HDFS(概述和Shell操作)

HDFS概述 HDFS组成架构 HDFS文件块大小   HDFS的Shell操作(开发重点) 1.基本语法 bin/hadoop fs 具体命令   OR  bin/hdfs dfs 具体命令 dfs是fs的实现类. 2.命令大全 $ bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-

HDFS体系结构及shell操作

一.hadoop1.1.0的介绍 hadoop是适合大数据的分布式存储和计算的平台 hadoop核心组成由hdfs和mapreduce组成 hdfs是主从式结构,主节点只有一个,是namenode:从节点有很多个 分布式文件系统与HDFS (HDFS体系结构与基本概念) Distributed File System 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上  的文件,这就是分布式文件管理