使用配置hadoop中常用的Linux(ubuntu)命令

生成key:

$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

-t   密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。

-f filename             指定密钥文件名。

来源:http://www.aboutyun.com/thread-6487-1-1.html

远程登录执行shell命令key

ssh远程登录,并在远程创建文件

ssh [email protected] ‘mkdir -p .ssh && cat >> .ssh/authorized_keys‘ < ~/.ssh/id_rsa.pub

来源:http://www.aboutyun.com/thread-6977-1-1.html

远程复制

scp authorized_keys [email protected]:~/.ssh/authorized_keys_from_yang

sudo scp -r /usr/hadoop [email protected]:~/

文件追加内容

cat authorized_keys_from_yang  >>  authorized_keys

解压包:

sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/lib/jvm

文件复制:(jdk复制到opt中

sudo cp -r  jdk/ /opt

文件移动

sudo mv jdk opt

(有的时候没有权限,所以必须加上sudo)

文件更改所有者(下面为更改hadoop文件夹的权限)

sudo chown -R  aboutyun:aboutyun  hadoop

查看端口是否被暂用

sudo netstat -ap | grep 8080

sudo netstat -ant|grep 3306

Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name

tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      1651/mysqld

表示的含义

mysql的默认端口 3306 打开着

0.0.0.0 代表你的本地网络地址 后一个代表外部网络地址 有连接的话就有真正的IP地址了

hadoop开启调试

开启debug  export HADOOP_ROOT_LOGGER=DEBUG,console

Linux打包命令

tar czvf my.tar.gz hadoop-2.4.0-src

杀掉一个进程

kill 进程号

kill -9 进程号

rpm -qa|grep softname

表示的含义是:

就是从安装的软件中查询出softname这个软件

详解如下:

grep 内容 对象

表示从“对象”中查找“内容”,并打印

|

管道符号,前一个命令的输出(即结果)作为下个命令的输入

rpm -qa

rpm管理命令 查询所有安装的软件

所以rpm -qa|grep softname

就是从安装的软件中查询出softname这个软件

 

hive安装mysql常用命令

 

查看软件是否安装

netstat -tap | grep mysql

测试mysql远程连接成功:

mysql -h172.16.77.15 -uroot -p123

mysql -h主机地址 -u用户名 -p用户密码

查看字符集

show variables like ‘%char%‘;

修改字符集:

vi /etc/my.cnf

在[client]下添加

default-character-set=utf8

创建sudo无密码登陆

给aboutyun用户设置无密码sudo权限:

chmode u+w /etc/sudoers

aboutyun ALL=(root)NOPASSWD:ALL

chmod u-w /etc/sudoers

测试:sudo ifconfig

ubuntu查看服务列表代码  

sudo service --status-all

sudo initctl list

查看文件大小:

du -sh hadoop-2.7.0-src

打包zip

zip -r myfile.zip ./*

时间: 2024-10-04 08:24:25

使用配置hadoop中常用的Linux(ubuntu)命令的相关文章

Hadoop学习常用的Linux命令

我们以RHEL6.3为例说明. Linux的命令后面会有命令选项,有的选项还有选项值.选项的前面有短横线“-”,命令.选项.选项值之间使用空格隔开.有的命令没有选项,会有参数.选项是命令内置的功能,参数是用户提供的符合命令格式的内容. 1.1.1. 命令提示符 在桌面上点击鼠标右键,在弹出菜单中选择“Open in Terminal”, 系统会打开终端,类似于Windows下的命令行.Windows的命令行是dos环境,Linux下的命令行是shell环境.我们的所有命令都是在shell下运行的

软件测试工程师工作中常用的Linux命令

Linux系统有着众多的优点,比方开源.非商业版本免费.多任务多用户操作,因而Linux系统在非桌面范畴占有压倒性的市场份额.关于互联网技术工作者来说,控制常用的Linux命令也是一门必修课.下面罗列一些笔者在工作中常用的Linux命令. cd 切换目录 cd .. 返回上一层目录 cd . 进入当前目录 cd - 返回前一次的目录,即上一次的目录不是上一层目录 ls 查看文件与目录 用法: ls [参数][文件] 参数: ls –l 显示文件的权限和属性 ls –a 列出所有的文件,包含隐藏文

工作中常用的Linux命令(2):ipcs/ipcrm命令

ipcs 1. 命令格式 ipcs [resource-option] [output-format] ipcs [resource-option] -i id 2. 命令功能 提供IPC设备的信息 3. 使用方法 resource选项: ipcs -m 查看系统共享内存信息 ipcs -q 查看系统消息队列信息 ipcs -s 查看系统信号量信息 ipcs [-a] 系统默认输出信息,显示系统内所有的IPC信息 [[email protected] data]$ ipcs -a ------

工作中常用的Linux命令:目录

工作两三年,每天都和Linux打交道,但每每使用Linux命令的时候却会像提笔忘字般不知如何使用,常常查手册或到网上找资料.此系列文章主要是为了方便自己在使用命令时随时可查阅.鄙人才疏学浅,文中若有任何错误可在留言中指正,以供大家共同进步.学习的主要参考资料: 1. <Unix环境高级编程>.<shell脚本学习指南>... 2. 我使用过的Linux命令系列 3. 每天一个Linux命令 4. 网上的其他资料 1. 工作中常用的Linux命令(1):find命令 2. 工作中常用

开发过程中常用的Linux命令

做Java开发好几年了,部署JavaWeb到服务器上,一般都选择Linux,Linux作为服务器真是不二之选,高性能,只要熟悉Linux,操作快捷,效率很高. 总结一下工作中常用的Linux命令备忘: 一.文件操作相关命令 1.创建目录 mkdir software 2.创建多级目录 mkdir /opt/software/ -p 3.删除文件或目录 rm test.sh 此删除命令运行后需要输入y确认的交互过程 rm -f test.sh 直接强制删除不需要输入yes确定 rm -rf /op

shell中常用I/O重定向命令格式说明

命令1  >    文件1 将命令1的输出结果重定向到文件1 命令1  &>  文件1 将命令1的输出结果和标准错误输出一起重定向到文件1 命令1  >>  文件1 将命令1的输出结果追加到文件1中 命令1  2>  文件1 将命令1的标准错误输出的结果重定向到文件1中 命令1  <     文件1 将文件1作为命令1的标准输入 命令1 << 字符串1   允许连续输入数据,直到接收到字符串1(常用于邮件系统) shell中常用I/O重定向命令格式说

powershell 中常用cmd,unix命令(get-alias)

powershell 中常用cmd,unix命令(get-alias) Get-Content Alias cat -> Get-Content Alias gc -> Get-Content Alias type -> Get-Content set-location Alias cd -> Set-Location Alias chdir -> Set-Location Alias sl -> Set-Location clear-host Alias clear

收集的55个Linux系统管理中常用的一些shell命令

1.显示消耗内存/CPU最多的10个进程 代码如下: ps aux | sort -nk +4 | tail ps aux | sort -nk +3 | tail 2.查看进程 按内存从大到小排列 代码如下: ps -e -o "%C : %p : %z : %a"|sort -k5 -nr 3.按cpu利用率从大到小排列 代码如下: ps -e -o "%C : %p : %z : %a"|sort -nr 3.查看Apache的并发请求数及其TCP连接状态 代

日常工作中常用的Linux命令

以下Linux命令是我日常工作中常用到的: sudo su - :切换为临时的root权限; chmod +x * :用于改变linux系统文件或目录的访问权限; ps -ef |grep dubbo-account :查看进程; ./ shutdown.sh : 关闭某个服务; tar -zxf nginx-1.6.tar.gz: 解压; less all.log : 查看当天的日志; tail -f all.log: 监控日志; ls -lh: 查看各个文件的大小; sz all.log: