何时使用hadoop fs、hadoop dfs与hdfs dfs命令

hadoop fs:使用面最广,可以操作任何文件系统。

hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。

以下内容参考自stackoverflow

Following are the three commands which appears same but have minute differences

  1. hadoop fs {args}
  2. hadoop dfs {args}
  3. hdfs dfs {args}
    hadoop fs <args>
    

FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing with different file systems such as Local FS, HFTP FS, S3 FS, and others

  hadoop dfs <args>

dfs is very specific to HDFS. would work for operation relates to HDFS. This has been deprecated and we should use hdfs dfs instead.

  hdfs   dfs <args>

same as 2nd i.e would work for all the operations related to HDFS and is the recommended command instead of hadoop dfs

below is the list categorized as HDFS commands.

  **#hdfs commands**
  namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroups

So even if you use Hadoop dfs , it will look locate hdfs and delegate that command to hdfs dfs

时间: 2024-10-17 15:36:23

何时使用hadoop fs、hadoop dfs与hdfs dfs命令的相关文章

Hadoop:hadoop fs、hadoop dfs与hdfs dfs命令的区别

http://blog.csdn.net/pipisorry/article/details/51340838 'Hadoop DFS'和'Hadoop FS'的区别 While exploring HDFS, I came across these two syntaxes for querying HDFS: > hadoop dfs > hadoop fs why we have two different syntaxes for a common purpose 为什么会对同一个功能

Hadoop fs必需要记住的常用命令

1,Hadoop fs –fs [local | ]:声明Hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml.使用local代表将本地文件系统作为hadoop的DFS.如果传递uri做参数,那么就是特定的文件系统作为DFS.2,hadoop fs –ls :

hadoop fs(HDFS文件系统命令)

Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统,那么对HDFS的操作就是对文件系统的操作,比如文件的创建.修改.删除:文件夹的创建.修改.删除.Hadoop作者认为大家对linux文件系统的命令很熟悉,于是借鉴了linux文件系统的命令来作为HDFS的操作命令. (1)查看帮助 hadoop fs -help (2)查看目录信息 hadoop fs -ls / (3)递归查看目录信息 hadoop fs -ls -R / (4)上传文件到HDFS hadoop fs -put

[转]hadoop hdfs常用命令

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录.子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlig

Hadoop 系列(六)—— HDFS 常用 Shell 命令

1. 显示当前目录结构 # 显示当前目录结构 hadoop fs -ls <path> # 递归显示当前目录结构 hadoop fs -ls -R <path> # 显示根目录下内容 hadoop fs -ls / 2. 创建目录 # 创建目录 hadoop fs -mkdir <path> # 递归创建目录 hadoop fs -mkdir -p <path> 3. 删除操作 # 删除文件 hadoop fs -rm <path> # 递归删除

Hadoop命令 hadoop fs

命令的基本格式: 在HDFS的文件系统中,HDFS只支持绝对路径 hadoop[程序] fs[菜单] -help[菜单下的一个子选项]查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹[只能看到第一层的东西] 2.-lsr 递归显示文件信息 hadoop fs -lsr / 查看所有的东西[递归显示所有] http://ip:50070 内置文件查看器,也可以查看所有的文件和文件夹信息[前提,要先将hadoop启动起来,hadoop启动参考:ht

HDFS常用命令总结

hdfs文件的相关操作主要使用hadoop fs.hadoop dfs.hdfs dfs 命令,以下对最常用的相关命令进行简要说明.hadoop fs -ls  显示当前目录结构,-ls -R 递归显示目录结构hadoop fs -mkdir  创建目录hadoop fs -rm   删除文件,-rm -R 递归删除目录和文件hadoop fs -put  [localsrc] [dst]  从本地加载文件到HDFShadoop fs -get  [dst] [localsrc]  从HDFS导

用java运行Hadoop程序报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.

用java运行Hadoop例程报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.所写代码如下: package com.pcitc.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.h

【转】Hadoop FS Shell命令

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path .对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file .其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme.一个HDFS文件或目录比如/parent/child 可 以表示成hdfs: