Linux与hadoop相关命令

一:Linux基本命令:

1.查看ip地址:

$ ifconfig

2.清空屏幕:

$ clear

3.切换root用户:

$ su

4.查看主机静态ip地址:

$ more /etc/sysconfig/network-scripts/ifcfg-eth0

5.主机名称:

查看主机名称:  $ hostname      修改主机名: $ hostname 主机名

6.目录:

查看当前目录:$ pwd           进入当前目录下的子目录:$ cd (如$ cd data)            列出当前目录下所有文件:$ ls                创建目录:$ mkdir     (如 $ mkdir softwares)                     进入当前目录:$ cd . .          进入用户主目录:$ cd

7.文件:

查看文件:(1).$ more(一页一页的查看。如: $ more /etc/sysconfig/network)       列出当前目录下所有文件的详细信息:$ ll              查看全部文件:$ ls -al (以 . 开始的文件名称表示该文件是隐藏文件)            创建文件:vi xxx.txt

8.编辑文件:

$ vim(如:$ vim hello.txt) (1).首先进入的是查看文件。    (2).当按下【i】以后进入编辑模式 。(3).保存:先按【Esc】键,再按【:wq】。(4).不保存:按【:q!】。

9.修改文件权限:

chmod(例如:$ chmod u+w /etc/profiles   $chmod 777 /etc/profiles(该文件权限是所有权限))  文件权限有:r(可读)     w(可写)      x(可执行)

10.重命名目录或文件:

$ mv (如$ mv software softwares)

11.移动目录或文件:

$ mv(如$ mv software /hadoop/home)

12.拷贝目录或文件:

$ cp (如 $ cp hello.txt world.txt)

13.删除目录或文件:

删除文件:$ rm                            删除文件夹:$ rmdir(删除非空文件夹 $rm - rf)

14.解压命令:

$ tar zxvf text.tgz -c 指定目录(如:tar zxvf /source/kernel.tgz -c /source/linux-2.6.9)

15.防火墙:

关闭防火墙(查看防火墙 #service iptables status ):暂时: (1)开启:# service iptabels start (2).关闭 # servive iptables stop    永久:(1).开启:#chkconfig --level 35 iptables on (2).关闭:#chkconfig --level     35 iptables off

二:使用Hadoop过程中相关命令:
1.查看进程

Linux下查看进程:$ ps        Linux下查看java进程:$ jps

2.查看Hadoop相关命令

$ hadoop (使用 如:$ hadoop namenode –format)

3.查看hadoop相关守护进程的状态(如NameNode,JobTracker等)

50030(http://192.168.119.180:50030):  查看Map/Reduce 进程

50070(http://192.168.119.180:50070):查看NameNode及整个分布式文件系统的状态,浏览分布式文件系统的文件及日志等

50060(http://192.168.119.180:50060):查看TaskTracker运行状态

4.HDFS下文件的操作(删除、复制等,大体和Linux下命令差不多。这些命令在 hadoop  fs 命令集中)

注释:由于HDFS没有工作目录,只有默认“home”目录,所以没有进入目录等命令

[-ls <path>] : 列出内容    如:hadoop fs –ls /home  :列出“home”目录下的目录

[-lsr <path>] :列出所有内容   如 :hadoop fs –ls /home :列出“home”目录下的全部目录

[-mv <src> <dst>]:移动目录或者文件

[-cp <src> <dst>]

[-rm [-skipTrash] <path>]

[-rmr [-skipTrash] <path>]

[-put <localsrc> ... <dst>] :上传文件 如:

[-get [-ignoreCrc] [-crc] <src> <localdst>]

[-cat <src>]

[-text <src>]

[-mkdir <path>] 创建一个文件夹  如:hadoop fs -mkdir /home/hadoop/wc  :在/home/hadoop 目录下创建一个wc目录

[-test -[ezd] <path>]

[-stat [format] <path>]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

还有许多命令,都在 hadoop fs 命令集中,可以 $ hadoop fs :查看

时间: 2024-10-21 13:24:33

Linux与hadoop相关命令的相关文章

执行Hadoop相关命令时出现 Unable to load native-hadoop library for your platform... 解决办法

在安装Hadoop伪分布环境后,执行相关命令(例如:bin/hdfs dfs -ls)会出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,这是因为安装的navtive包和平台不匹配的缘故,需要重新编译Hadoop源码包,然后将navtive包进行替换

linux网络配置相关命令、虚拟网络接口eth0:0

网络接口(interface)是网络硬件设备在操作系统中的表示方法,比如网卡在Linux操作系统中用ethX,是由0开始的正整数,比如eth0.eth1...... ethX.而普通猫和ADSL的接口是 pppX,比如ppp0等: 机器中所有可用网卡.名字.配置文件: dmesg | grep eth :可以看到系统启动时,网卡启动的信息及相应网卡的名字,然后就可以手动添加相应的/etc/sysconfig/network-scripts/ifcfg-ethX文件对网卡进行配置 ifconfig

linux目录文件管理相关命令

目录是一种文件,路径映射文件:路径是指从指定起始点到目的点所经过位置(层次化) 路径分为2种: 绝对路径:从根开始,经过子目录,子子目录,文件:例 /usr/local 相对路径:相对于当前所在路径的路径:例 ./x/y,./ 表示当前路径下,作为参数可省略 # pwd  显示当前所在路径 # ls 显示当前路径下所有文件以及目录 选项: -l 表示长格式,完整信息,信息内容: 文件格式 - :普通文件 d :目录文件 b :块设备文件 c :字符设备文件 l :符号链接文件(软连接文件):链接

linux运维相关命令收集

1  删除0字节文件find-type f -size 0 -exec rm -rf {} \; 2  查看进程按内存从大到小排列ps -e  -o "%C  : %p : %z : %a"|sort -k5 -nr 3  按cpu利用率从大到小排列ps -e  -o "%C  : %p : %z : %a"|sort  -nr 4  打印说cache里的URLgrep -r -a  jpg /data/cache/* | strings | grep "

Linux进程管理相关命令详解

一.top top命令用于显示系统当前的进程和其他状况:top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果再前台执行该命令,它将独占前台,直到用户终止该程序为止. 其中1-5行为统计信息区,剩余行为进程信息区:1.统计信息区1)第1行为任务队列信息(与uptime命令运行结果相同)字段含义:当前时间     系统启动持续时间   当前登陆用户数    系统负载,即任务队列的平均长度备注:格式为"日期,时:分"  三个数值分别为1,5和15分钟前到现在的均值2)第2行为

Linux进程管理相关命令

进程状态查看命令: ps:Process State -o:指定显示字段 进程状态显示有两种风格: BSD风格:使用时不加- SysV风格:使用时加- BSD风格: a:显示所有与终端有关的进程 u:显示进程由哪个用户启动的 x:显示所有与终端无关的进程 SysV风格: -elF -ef -eF 进程的状态: D:不可中断的睡眠 R:运行或就绪 S:可中断的睡眠 T:停止 Z:僵尸进程 <:高优先级进程 N:低优先级进程 +:前台进程组中的进程 l :多线程进程 s:会话进程首进程 [ ]:加了

Linux网络配置相关命令

写在前面: 博客书写牢记5W1H法则:What,Why,When,Where,Who,How. 本篇主要内容: ● 网络基础知识回顾 ● ifcfg系列 ifconfig route netstat ifup/ifdown ● 主机名.DNS配置 ● iproute系列 ip ss ● 网卡配置文件.路由配置文件 nmcli 计算机网络基础知识回顾: TCP/IP: TCP/IP协议体系结构是专门针对使用TCP/IP协议簇的广域计算机网络而开发的,是OSI/RM的改进版本.被大范围使用,但并非国

linux中weblogic相关命令操作

在weblogic的目录下找到bin目录,其中有startWeblogic.sh.startManagerWeblogic.sh等 首先需要启动startWeblogic.sh,这个是管理服务,也就是说weblogic启动必须先启动这个服务,不启动将无法进入控制台. 具体命令如下: nohup startWeblogic.sh & tail -f nohup.out nohup即 no hang up,保证该服务在你退出时(ctrl+c)继续运行,&为保持运行,&之后为查看启动日志

linux 进程管理相关命令汇总

## processes 进程管理 ##ps查看当前系统执行的线程列表,进行瞬间状态,不是连续状态,连续状态需要使用top名称查看 更多常用参数请使用 man ps查看 ps ##显示所有进程详细信息 ps aux ##-u 显示某个用户的进程列表 ps -f -u www-data ## -C 通过名字或者命令搜索进程 ps -C apache2 ## --sort 根据进程cpu使用率降序排列,查看前5个进程 -pcpu表示降序 pcpu升序 ps aux --sort=-pcpu | he