Hadoop + spark常用命令

Hadoop集群常用的shell命令

查看Hadoop版本

hadoop -version

启动HDFS

start-dfs.sh

启动YARN

start-yarn.sh

查看4台服务器的进程

jps

启动HDFS和YARN的web管理界面

http://你的ip:50070/
http://你的ip:8088/

在HDFS上创建一个文件夹/test/input

hadoop fs -mkdir -p /test/input

查看创建的文件夹

hadoop fs -ls /
hadoop fs -ls /test

上传到HDFS的/test/input文件夹中

hadoop fs -put ~/words.txt /test/input
查看是否上传成功
hadoop fs -ls /test/input

从HDFS钟下载文件，文件下载到~/data文件夹中

hadoop fs -get /test/input/words.txt ~/data

原文地址：https://www.cnblogs.com/twodoge/p/9876808.html

时间： 2024-10-11 20:39:14

Hadoop + spark常用命令的相关文章

hadoop dfs常用命令

hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数.文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop dfs -dus xxx 上传下载hadoop dfs -put source targethadoop dfs -get source tartget其他命令可以使用如下命令查看:hadoop d

[转]hadoop hdfs常用命令

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令 hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录.子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlig

关于centos环境下Flume+hadoop+hive常用命令

centos命令进入root用户su root 1. 复制 2.解压tar.gztar zxvf xxx.tar.gz 3.文件操作 -创建文件夹mkdir mkdir /usr/ mkdir 文件名 -移动文件mv [options] 源文件或目录目标文件或目录 —删除一个文件rm —删除一个文件夹 rm /home/test rm -r /home/test —文件赋权限cmod 1.txt 4.修改文件夹权限chown -R Hadoop.Hadoop /增加可执行读写权限chmod

spark常用命令

1:512mb 2核启动 ./spark-shell --master spark://ip:7077 --executor-memory 512m --total-executor-cores 2

hadoop的常用命令

启动服务 hadoop/sbin/start-dfs.sh 关闭服务 hadoop/sbin/stop-dfs.sh 上传文件 hadoop/bin/hadoop fs -put file /dir 共享文件使用首先是先将全局文件上传: 1.建目录:要一步一步的建立:hadoop/bin/hadoop mkdir /user hadoop/bin/hadoop mkdir /username 2.上传:hadoop/bin/hadoop fs -put file /user/username/

Hadoop常用命令总结

一.前述分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题). 2.单进程启动. sbin/start-dfs.sh --------------- sbin/hadoop-daemons.sh --config .. --hostname .. start

hdfs常用命令

hadoop hdfs常用命令 hadoop fs -ls /user/deploy/recsys/workspace/ouyangyewei 查看ouyangyewei目录文件 hadoop fs -mkdir /user/deploy/recsys/workspace/ouyangyewei/input 在ouyangyewei目录下创建input文件夹 hadoop fs -rm /user/deploy/recsys/workspace/ouyangyewei/input/input.t

使用配置hadoop中常用的Linux(ubuntu)命令

生成key: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定.如果没有指定则默认生成用于SSH-2的RSA密钥. -f filename 指定密钥文件名. 来源:http://www.aboutyun.com/thread-6487-1-1.html 远程登录执行shell命令key ssh远

hadoop的常用shell命令

一.常用的hadoop命令 1.hadoop的fs命令 #查看hadoop所有的fs命令 hadoop fs #上传文件(put与copyFromLocal都是上传命令) hadoop fs -put jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk hadoop fs -copyFromLocal jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk #下载命令(get与copyToLocal都是下