Hadoop学习第五次:HDFS的Shell命令

调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。例如:/parent/child可以表示成hdfs://namenode:namenodePort/parent/child,或者更简单的/parent/child(假设配置文件namenode:namenodePort)大多数FS Shell命令的行为和对应的Unix Shell命令类似。

-help [cmd]  //显示命令的帮助信息

-ls(r) <path>  //显示当前目录下所有文件

-du(s) <path>  //显示目录中所有文件大小

-count[-q] <path>  //显示目录中文件数量

-mv <src> <dst>  //移动多个文件到目标目录

-cp <src> <dst>  //复制多个文件到目标目录

-rm(r)  //删除文件(夹)

-put <localsrc> <dst>  //本地文件复制到hdfs

-copyFromLocal  //同put

-moveFromLocal  //从本地文件移动到hdfs

-get [-ignoreCrc] <src> <localdst>  //复制文件到本地,可以忽略crc校验

-getmerge <src> <localdst>  //将源目录中的所有文件排序合并到一个文件中

-cat <src>  //在终端显示文件内容

-text <src>  //在终端显示文件内容

-copyToLocal [-ignoreCrc] <src> <localdst>  //复制到本地

-moveToLocal <src> <localdst>

-mkdir <path>  //创建文件夹

-touchz <path>  //创建一个空文件

时间: 2024-12-20 02:20:56

Hadoop学习第五次:HDFS的Shell命令的相关文章

Hadoop 系列(六)—— HDFS 常用 Shell 命令

1. 显示当前目录结构 # 显示当前目录结构 hadoop fs -ls <path> # 递归显示当前目录结构 hadoop fs -ls -R <path> # 显示根目录下内容 hadoop fs -ls / 2. 创建目录 # 创建目录 hadoop fs -mkdir <path> # 递归创建目录 hadoop fs -mkdir -p <path> 3. 删除操作 # 删除文件 hadoop fs -rm <path> # 递归删除

HDFS的Shell命令

一.HDFS的Shell命令 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对HDFS 的操作命令类似于lLinux 的shell 对文件的操作,如ls.mkdir.rm 等.我们在执行HDFS的shell操作的时候,一定要确定hadoop 是正常运行的,我们可以使用使用jps 命令确保看到各个hadoop 进程.我们可以执行命令hadoop fs,来查看HDFS的shell操

HDFS常用shell命令

HDFS 文件操作命令 [[email protected] sbin]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]...

Hadoop学习之路(2)Hdfs分布式文件系统

@[TOC] 1.Hadoop架构 Hadoop由三个模块组成:分布式存储HDFS.分布式计算MapReduce.资源调度引擎Yarn 2.HDFS体系架构 2.1NameNode    NameNode负责:文件元数据信息的操作以及处理客户端的请求   NameNode管理:HDFS文件系统的命名空间NameSpace.   NameNode维护:文件系统树(FileSystem)以及文件树中所有的文件和文件夹的元数据信息(matedata)维护文件到块的对应关系和块到节点的对应关系   Na

Hadoop 学习笔记五 ---Hadoop系统通信协议介绍

本文约定: DN: DataNode TT: TaskTracker NN: NameNode SNN: Secondry NameNode JT: JobTracker 本文介绍Hadoop各节点和Client之间通信协议. Hadoop的通信是建立在RPC的基础上,关于RPC的详解介绍大家可以参照 "hadoop rpc机制 && 将avro引入hadoop rpc机制初探" Hadoop中节点之间的通信是比较复杂的一个网络,若可以把它们之间的通信网络了解清楚,那么

Hadoop 学习总结之一:HDFS简介

一.HDFS的基本概念 1.1.数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块. 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的. 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间. 1.2.元数据节点(Namenode)和数据节点(datanode) 元数据节点用来管理文件系统的命名空间 其将所有的文件和文件夹的元数据保存在一个文件系统

Hadoop学习第二次:HDFS的应用场景 部署 原理与基本框架

1.HDFS的定义与特色 以文件为基本存储单位的劣势:难以实现负载均衡——文件大小不同,负载均衡难实现:用户自己控制文件大小: 难以实现并行化处理——只能利用一个节点资源处理一个文件,无法动用集群资源: HDFS的定义:易于扩展的分布式文件系统:运行在大量廉价机器上,提供容错机制:为大量用户提供性能不错的文件存储服务: 优点:高容错性(数据自动保存多个副本,副本丢失后自动恢复)  适合批处理(移动计算而不是数据,数据位置暴露给计算框架) 适合大数据的处理 流式文件访问 可构建在廉价的机器上 不擅

hadoop HDFS的shell命令

http://www.cnblogs.com/sunddenly/p/3981583.html hadoopshell实战 http://www.cnblogs.com/sunddenly/category/611923.html hadoop

hadoop学习笔记(五)——全分布模式下SSH免密码登陆的实现

1)  设置3台机器的网络配置,并统一用户名,root除外 master:192.168.2.10 slave1:192.168.2.11 slave2:192.168.2.12 2)  SSH免密码登陆思想 因为三个节点要相互访问,所以,三个节点都是客户端,也都是服务器端,我们分别在三个节点上创建一对密钥文件,密钥文件包括公钥文件(~/.ssh/id_rsa.pub)和私钥文件 (~/.ssh/id_rsa). 客户端在使用ssh登录到其他节点上的时候,ssh会发送私钥去和其他节点上的公钥去匹