Hadoop之——HDFS命令

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45769573

1.对hdfs操作的命令格式是hadoop fs

1.1 -ls        <path>    表示对hdfs下一级目录的查看

1.2 -lsr    <path>    表示对hdfs目录的递归查看

1.3    -mkdir    <path>    创建目录

1.4 -put    <src>    <des>    从linux上传文件到hdfs

1.5 -get    <src>    <des>    从hdfs下载文件到linux

1.6 -text    <path>    查看文件内容

1.7 -rm        <path>    表示删除文件

1.7 -rmr    <path>    表示递归删除文件

2.hdfs在对数据存储进行block划分时,如果文件大小超过block,那么按照block大小进行划分;不如block size的,划分为一个块,是实际数据大小。

*****PermissionDenyException  权限不足**********

时间: 2024-12-18 13:47:50

Hadoop之——HDFS命令的相关文章

介绍hadoop中的hadoop和hdfs命令

有些hive安装文档提到了hdfs dfs -mkdir ,也就是说hdfs也是可以用的,但在2.8.0中已经不那么处理了,之所以还可以使用,是为了向下兼容. 本文简要介绍一下有关的命令,以便对hadoop的命令有一个大概的影响,并在想使用的时候能够知道从哪里可以获得帮助. 概述 在$HADOOP_HOME/bin下可以看到hadoop和hdfs的脚本. hdfs的相当一部分的功能可以使用hdoop来替代(目前),但hdfs有自己的一些独有的功能.hadoop主要面向更广泛复杂的功能. 本文介绍

Hadoop之HDFS命令

概述 所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述. 使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop是一个参数解析框架,采用解析泛型选项以及运行类. 命令参数 描述 --config --loglevel 指定一个默认的配置文件目录,默认值是: ${HADOOP_PREFIX}/conf. 重载Log级别.有效的日志级别包含:F

Hadoop 执行 hdfs 命令烦人的警告信息

问题描述: 安装完 hadoop,执行 hdfs dfs -ls 命令时,报警告如下: 2017-07-04 16:32:57,664 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决方法: 1.根据你 hadoop 的版本,来http://dl.bintray.com/sequen

hadoop的hdfs命令

[[email protected] conf]# hadoop fs -ls /     ls和linux命令差不多 Warning: $HADOOP_HOME is deprecated. Found 1 items drwxr-xr-x   - root supergroup          0 2016-07-05 15:55 /user [[email protected] conf]# [[email protected] conf]# hadoop fs -mkdir /user

hadoop之 HDFS fs 命令总结

版本:Hadoop 2.7.4 -- 查看hadoop fs帮助信息[[email protected] sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] &l

HDFS命令行文件操作

Hadoop文件操作命令形式为 hadoop fs -cmd <args> 说明:cmd是具体的文件操作命令,<args>是一组数目可变的参数. Hadoop最常用的文件操作命令,包括添加文件和目录.获取文件.删除文件等.1 添加文件和目录 HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,作者的用户名是root.该目录不能自动创建,需要执行mkdir命令创建. hadoop fs -mkdir  /usr/root 使用Hadoop的命令put将本地

Hadoop常见重要命令行操作及命令作用

关于Hadoop [[email protected] ~]# hadoop --help Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version print the version jar <jar> run a jar file checknative [-a|-h] check native hadoop and co

二:HDFS 命令指南

命令具体选项请参考: http://hadoop.apache.org/docs/r2.6.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html 1.HDFS命令通过bin/hdfs执行,语法如下: hdfs [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] 配置文件          用户命令   基本选项           命令选项 COMMAND_OPTION

HDFS 命令深入浅出

HDFS 命令深入浅出~ [[email protected] ~]# hadoop dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]...