hadoop,spark,linux上常用命令

1.hadoop

查看hdfs上的目录：         hadoop fs -ls /
在hdfs上创建一个目录：     hadoop fs -mkdir /jiatest
把文件上传到hdfs指定目录:  hadoop fs -put test.txt /jiatest
上传jar包到hadoop上跑：   hadoop jar maven_test-1.0-SNAPSHOT.jar org.jiahong.test.WordCount /jiatest /jiatest/output
查看结果：               hadoop fs -cat /jiatest/output/part-r-00000

2.linux

把本地文件上传到集群：scp maven_test-1.0-SNAPSHOT.jar [email protected]121.8.228.23:/home/hadoop/jia/
时间： 2024-08-07 04:31:23

hadoop,spark,linux上常用命令的相关文章

Linux上常用命令整理（一）—— cat

近几个月刚从windows上转过来,开始慢慢熟悉linux,先不撕比到底哪个更好,首先要怀着相互借鉴的精神去了解各个平台. Linux上做开发,除去使用文本编辑器做开发的大神之外,大家(包括我这种菜鸟新手)都需要掌握的应该就是Linux上的常用命令,能让一些时不时冒出来的琐碎而又麻烦的需求简单化.这次先整理几个. cat paste cut grep 一个一个来,先从cat开始,昨天面试被问到了答不上来... cat 主要是三个功能:显示文件内容.创建文件.合并文件 最基本的语法就是:cat [

Linux上常用命令整理（二）—— paste

上一篇整理了cat指令的几个基本常见用法,这次整理一下paste指令的基本用法. cat paste cut grep paste paste可以简单的理解为把两个文件的内容按列合并,与cat命令直接将不同文件按照先后顺序接起来不同,paste可以非常快速的将两个文件中的内容按照文件顺序从左往右排起来,例如文件1的内容是: a b c d 文件2的内容是: 1 2 3 4 则paste之后的结果为: a 1 b 2 c 3 d 4 甚至可以在拼接时向中间插入间隔符号,下面列举一下常见的用法. 直

Hadoop备战：hdfs常用命令（可能有你不知道的）

除介绍的命令外,还有许多bin/hadoop.dfs命令,以上介绍的只是帮助你开始使用HDFS,运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令,当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法. 下面是所有命令的介绍,介绍之前先定义一下参数的意义: 1.    斜体:表示用户输入的变量. 2.  path:表示文件名或目录名. 3.    path-:表示一个或多个文件名或目录名. 4.    file:表

嵌入式Linux GCC常用命令

本文和大家分享的主要是嵌入式Linux GCC常用命令相关内容,一起来看看吧,希望对大家学习嵌入式Linux有所帮助. 1.简介 GCC 的意思也只是 GNU C Compiler 而已.经过了这么多年的发展,GCC 已经不仅仅能支持 C 语言:它现在还支持 Ada 语言.C++ 语言.Java 语言.Objective C 语言.Pascal 语言.COBOL语言,以及支持函数式编程和逻辑编程的 Mercury 语言,等等.而 GCC 也不再单只是 GNU C 语言编译器的意思了,而是变成了 

linux下常用命令备忘

转自:Linux 命令集锦 linux下查看监听端口对应的进程 # lsof -i:9000 # lsof -Pnl +M -i4 如果退格键变成了:"^h". 终端连接unix删除退格键,按住CTL键同时按delete Linux搜索 # find / -name "xxx.conf" 查看linux是32位还是64位的命令 #file /sbin/init #getconf LONG_BIT #getconf -a 在Linux和Windows下都可以用nslo

linux系统管理常用命令--top

linux系统管理常用命令--top top显示进程所占的系统资源,具体用法介绍如下: top命令用于动态监控进程所占的系统资源,默认每隔3秒变一次.它的特点是把占用系统资源(CPU.内存.磁盘I/O等)最高的进程放到最前面!上例中,top命令打印出了很多信息.包括系统负载(loadaverage).进程数(Tasks).CPU使用情况.内存(Mem)使用情况以及交换分区使用情况. 其中,VIRT这一项表示进程所占的虚拟内存,RES这一项为进程所占的真实内存大小,而%MEM这一项为使用内存的百分

【Linux笔记】Linux的常用命令-文件管理命令

Linux的常用命令 文件管理命令 i.     ls 文件查看 ls -a 列出文件下所有的文件,包括以“.“开头的隐藏文件 ls -l 列出文件的详细信息,如创建者,创建时间,文件的读写权限列表等等. ls -F 在每一个文件的末尾加上一个字符说明该文件的类型. "@"表示符号链接."|"表示FIFOS."/"表示目录."="表示套接字. ls -s 在每个文件的后面打印出文件的大小. size(大小) ls -r 对目录

linux的常用命令和配置

1.tar.gz包解压 [[email protected] crawler]# ls com.ericsson.cdm.crawler-0.0.1-SNAPSHOT-dist.tar.gz [[email protected] crawler]# tar zxvf com.ericsson.cdm.crawler-0.0.1-SNAPSHOT-dist.tar.gz com.ericsson.cdm.crawler-0.0.1-SNAPSHOT/lib/log4j-1.2.14.jar ...

Linux系统管理常用命令

Linux系统管理常用命令 分类: Linux2011-01-10 18:26 1538人阅读 评论(0) 收藏 举报 linuxcommandservicenginxuserunix 目录(?)[+] 1. 时间date 1)显示当前时间: date .//Wed Jul 29 11:05:11 CST 2009  2)date修改时间:date -s  date 修改时间2007-08-29 14:41 date -s 14:36:30   //时间为14点36分30秒 date 08291