HDFS shell操作

1.hadoop集群的启动

cd $HADOOP_HOME  //进入hadoop安装目录

sbin/start-dfs.sh      //启动hdfs

sbin/start-yarn.sh     //启动yarn

(或start-all.sh)

集群关闭:

cd $HADOOP_HOME  //进入hadoop安装目录

sbin/stop-yarn.sh      //启动hdfs

sbin/stop-dfs.sh     //启动yarn

(或stop-all.sh)

集群的架构:

master节点的ip是192.168.26.110

查看集群的运行状态:

http://192.168.56.110:50070/

查看集群的目录结构:

http://192.168.56.110:50070/explorer.html

2:查看、创建、删除目录:

[[email protected] conf]# hadoop fs -ls /     ##查看根目录

Hadoop fs  -mkdir  /test                       ##创建目录

Hadoop fs  -mkdir -p  /test/a/b            ##创建多级文件

删除文件和目录

Hadoop  fs  -rm  /hello.txt         ##删除文件

Hadoop  fs  -rm  -R  /test         ##递归删除文件夹

4:上传文件

方法1:hadoop fs -put localfile /user/hadoop/hadoopfile

案例: hadoop fs -put word.txt /user/root/word1.txt

方法2:Usage: hadoop fs -copyFromLocal <localsrc> URI

案例:hadoop fs –copyFromLocal word.txt /user/root

方法3:Usage: hadoop fs -moveFromLocal <localsrc> <dst>

案例:hadoop fs -moveFromLocal word.txt /user/root/word2.txt

5:下载文件

方法1:hadoop fs -get /user/hadoop/file localfile

案例:hadoop fs -get /user/root/word1.txt .

方法2:Usage: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

案例:hadoop fs –copyToLocal /user/root/word.txt .    ##.下载到当前目录

方法3:Usage: hadoop fs -moveToLocal [-crc] <src> <dst>

案例:hadoop fs –moveToLocal /user/root/word2.txt .

Displays a “Not implemented yet” message.

6:查看内容

hadoop fs -cat hdfs://nn1.example.com/file1 

案例:hadoop fs -cat /user/root/word.txt 

hadoop fs -tail pathname

案例:hadoop fs -tail /user/root/word2.txt

7:删除文件

hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir

案例:hadoop fs –rm /user/root/word2.txt

原文地址:https://www.cnblogs.com/hemomo/p/12271538.html

时间: 2024-10-30 12:38:10

HDFS shell操作的相关文章

Hadoop学习笔记_5_分布式文件系统HDFS --shell操作

分布式文件系统HDFS --shell操作 分布式文件系统[Distributed File System]概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 . 分布式文件系统特点: 是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般

Hadoop读书笔记(二)HDFS的shell操作

Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 1.shell操作 1.1所有的HDFS shell操作命名可以通过hadoop fs获取: [[email protected] ~]# hadoop fs Usage: java FsShell [-ls <path>] [-lsr <path>] [-du <path>] [-dus <path>

hadoop2.5.2学习及实践笔记(五)—— HDFS shell命令行常见操作

附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [[email protected] hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <lo

HDFS的基本shell操作

(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 .它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 而它最主要的特性就是通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般.即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失 分布式文件管理系

HDFS的shell操作

既然HDFS 是存取数据的分布式文件系统,那么对HDFS的操作,就是对文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对 HDFS 的操作命令类似于Linux 的shell 对文件的操作,只是在HDFS中,hadoop fs是主命令,其他像ls,mv,cp都是被作为该命令的选项. 以下表格列出一些常用的HDFS shell命令选项. 选项名称 使用格式 含义 -ls -ls <路径> 查看指定路径的当前目录结构 -lsr -lsr <路径>

Hadoop大象之旅009-通过Shell操作hdfs

Hadoop大象之旅009-通过Shell操作hdfs 老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args>的形式. 1.查看hdfs都有哪些Shell命令 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"hadoopfs"查看hdfs的命令列表,如下图所示: hdfs的所有命令的格式,都为:hadoop fs –xx,具体使用方法,可参考官方文档: http://h

HDFS体系结构及shell操作

一.hadoop1.1.0的介绍 hadoop是适合大数据的分布式存储和计算的平台 hadoop核心组成由hdfs和mapreduce组成 hdfs是主从式结构,主节点只有一个,是namenode:从节点有很多个 分布式文件系统与HDFS (HDFS体系结构与基本概念) Distributed File System 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上  的文件,这就是分布式文件管理

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作(开发重点)+HDFS客户端操作(开发重点)+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode(面试开发重点)

第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)第3章 HDFS客户端操作(开发重点)3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.3 HDFS的I/O

HDFS的操作SHELL和API

HDFS的shell操作和JavaAPI的使用: WEB WEB端口50090查看SecondaryNameNode信息.可以查看Hadoop的版本,NameNode的IP,Checkpoint等信息. WEB端口50070可以查看HDFS的信息和目录结构 SHELL 查看 hdfs dfs -ls [-d][-h][-R] <paths> [-d]:返回path [-h]:按照KMG数据大小单位显示文件大小,默认B [-R]:级联显示paths下文件 创建文件夹 hdfs dfs -mkdi