hadoop shell 操作命令

shell操作命令：

hdfs的路径，在core-site.xml中定义

<property>

<name>fs.default.name</name>

<value>hdfs://master.hadoop:9000</value>   master.hadoop namenode主机名

</property>

用/ 代替当前绝对路径

hadoop fs -ls /  查看hdfs的根目录下的内容

hadoop fs -lsr / 递归查看hdfs的根目录下的内容

hadoop fs -mkdir /d1 在hdfs目录下建立文件夹d1

hadoop fs -put <linux source> < hdfs destination> 把数据从linux上传到hdfs的特定路径

hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径

hadoop fs -text <hdfs文件> 查看hdfs的文件，类似于linux的 more <文件名>

hadoop fs -rm 删除hdfs的文件

hadoop fs -rmr 删除hdfs中的文件夹

时间： 2024-11-13 06:48:52

hadoop shell 操作命令的相关文章

Hadoop Shell命令大全

hadoop支持命令行操作HDFS文件系统,并且支持shell-like命令与HDFS文件系统交互,对于大多数程序猿/媛来说,shell-like命令行操作都是比较熟悉的,其实这也是Hadoop的极大便利之一,至少对于想熟悉乃至尽快熟练操作HDFS的人来说. 由于平时在工作中经常用到Hadoop Shell命令来操作HDFS上的文件,有时候因为Hadoop Shell命令不熟悉,需要重新查找:或者需要某个命令的参数:再或者需要知晓相似命令的差异:于是便有了本文,对于Hadoop Shell命令的

Hadoop shell

常用管理命令  Hadoop管理员的常用命令. 启动Hadoop 进入HADOOP_HOME目录. 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录. 执行sh bin/stop-all.sh balancer  运行集群平衡工具.管理员可以简单的按Ctrl-C来停止平衡过程.参考Rebalancer了解更多. 用法:hadoop balancer [-threshold <threshold>] 命令选项 描述 -threshold <thr

hadoop基本操作命令

启动与关闭 启动Hadoop 1.         进入HADOOP_HOME目录. 2.         执行sh bin/start-all.sh 关闭Hadoop 1.         进入HADOOP_HOME目录. 2.         执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似.并且支持通配符,如*. 查看文件列表 查看hdfs中/user/admin/aaron目录下的文件. 1.         进入H

hadoop shell 操作复制

hadoop fs 列出所有的命令hadoop fs -help ls 列出某个命令的详细信息hadoop dfs -mkdir /data/weblogshadoop dfs -mkdir /data/dir1 /data/dir2 ... 创建文件夹,可以递归创建,可同时创建多个目录echo "Hello world" > weblog_entries.txt 创建新的本地文件(无则新建)hadoop fs -copyFromLocal weblog_entries.txt

Hadoop基本操作命令（转载）

HADOOP基本操作命令 转载:http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html 在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用. 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop. 启动与关闭 启动HADOOP 进入HADOOP_HOME目录. 执行sh bin/start-all.sh 进入HADOOP_HOME目录. 执行sh bin/stop-a

Centos Linux 常用shell操作命令

文件处理命令:ls 功能描述:显示目录文件 命令英文原意:list 命令所在路径:/bin/ls 执行权限:所有用户 语法: ls 选项[-ald]  [文件或目录] -a 显示所有文件,包括隐藏文件 -l 详细信息显示 -d 查看目录属性 $ ls –a > dir.txt //将ls –a命令执行结果输出到dir.txt文件. $ ls –a >> dir.txt //将ls –a命令执行结果附加到dir.txt文件之后. 文件处理命令:cd 功能描述:切换目录 命令英文原意:cha

云 &lt;Hadoop Shell命令&gt; (二)

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file.其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme.一个HDFS文件或目录比如/parent/child可以表示成hdfs://nameno

Hadoop Shell命令详解

     说明:调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式.所有的的FS shell命令使用URI路径作为参数. 1.cat 说明:将路径指定文件的内容输出到stdout. 用法:hadoop fs -cat URI [URI -] 范例: hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 hadoop fs -cat file:///file3/user/hadoop/

Hadoop Shell命令字典（可收藏）

可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何显示当前路径下的所有文件夹和文件7.rm删除文件失败的原因什么?8.如何查看文件的创建时间9.查看文件命令的内容有哪些?能否说出三种?10.如何判断文件是否存在?11.如何创建0字节文件 对于命令,我们一次性记住,可能以后又忘记了,这里大家用到的时候,可以查看一下. 调用文件系统(FS)Shell命