Linux、hive、sqoop常用脚本

一、Linux常用脚本

1.查看进程

ps -ef|grep -i tom

2.SCP从远程复制到本地目录

scp [email protected]/172.19.2.75:/home/root/full.tar.gz /home/daisy/full.tar.gz

3.查看目录

pwd

4.查看hadoop集群状态命令

hadoop dfsadmin -report

5.查看default getway命令

route 或者 netstat -r

6.添加default getway命令

route add default gw 10.25.125.1

7.重启网卡服务

service network restart

8.配置网卡命令

首先进入目录/etc/sysconfig/network-script

DEVICE=eth0

  BOOTPROTO=none

  ONBOOT=yes

  TYPE=Ethernet

  NETMASK=255.255.255.0

  IPADDR=IP地址

  USERCTL=no

  PEERDNS=yes

  GATEWAY=网关地址

9.查看防火墙状态

/etc/init.d/iptables status

暂时关闭防火墙:

/etc/init.d/iptables stop

禁止防火墙在系统启动时启动

/sbin/chkconfig --level 2345 iptables off

重启iptables:

/etc/init.d/iptables restart

即时生效,重启后失效

service 方式

开启: service iptables start

关闭: service iptables stop

执行清楚命令

iptables -F

10.uname -r/uname -a 查看操作系统版本

11.cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c

12.du -sh mul/  查看当前文件目录大小

du -sm * | sort -n //统计当前目录大小 并安大小 排序

du -sk *|grep -data //查看一个文件夹大小

du data *|wc -l //查看当前目录下文件数

13.hadoop查看数据命令

hadoop fs -du /data1/hive/warehouse/

kill 命令

hadoop job -kill jobid

14.赋权命令

chown --help 帮助

chown -R cup:hadoop data/

15.定时命令

crontab -l 查看定时

crontab -e 设置定时

前5个字段分别表示:

分钟:0-59

小时:1-23

日期:1-31

月份:1-12

星期:0-6(0表示周日)

二、hive非交互模式命令

1.可以将hive执行的sql语句保存到脚本文件中,通过-f选项制定脚本文件执行hive

eg:hive -f script.sql

2.对于较短的sql语句,可以直接使用-e选项运行hive

eg:hive -e ‘select * from table a‘

3.-S选项

hive执行过程中,会在终端上显示mapreduce的进度。如果不想显示进度,可以使用-S选项。

这个静音模式很实用,,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。

eg:$HIVE_HOME/bin/hive -S -e ‘select a.col from tab1 a‘ > tab1.csv

三、Sqoop常用命令

1、列出mysql数据库中的所有数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username 111 -password 111

2、连接mysql并列出数据库中的表

sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username 111 --password 111

3、将关系型数据的表结构复制到hive中

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username dyh --password 000000

--hive-table users  --fields-terminated-by "\0001"  --lines-terminated-by "\n";

参数说明:

--fields-terminated-by "\0001"  是设置每列之间的分隔符,"\0001"是ASCII码中的1,它也是hive的默认行内分隔符,

而sqoop的默认行内分隔符为"," --lines-terminated-by "\n"  设置的是每行之间的分隔符,此处为换行符,也是默认的分隔符;

注意:只是复制表的结构,表中的内容没有复制

4、将数据从关系数据库导入文件到hive表中

sqoop import --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000

--table users --hive-import --hive-table users -m 2 --fields-terminated-by "\0001";

参数说明:

-m 2 表示由两个map作业执行;

--fields-terminated-by "\0001"  需同创建hive表时保持一致;

5、将hive中的表数据导入到mysql数据库表中

sqoop export --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000

--table users --export-dir /user/hive/warehouse/users/part-m-00000 --input-fields-terminated-by ‘\0001‘

6、将数据从关系数据库导入文件到hive表中,--query 语句使用

sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000

--query "select id,age,name from userinfos where \$CONDITIONS"  -m 1  --target-dir /user/hive/warehouse/userinfos2

--fields-terminated-by "

7、将数据从关系数据库导入文件到hive表中,--columns  --where 语句使用

sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000

--table userinfos --columns "id,age,name"  --where "id > 3 and (age = 88 or age = 80)"  -m 1

--target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";

时间: 2024-10-04 03:34:34

Linux、hive、sqoop常用脚本的相关文章

Linux 常用脚本

Linux 常用脚本 修改表列属性 sql可任意修改,若数据库正好在执行机器上,可去掉ip地址 echo 为输出 #!/bin/shfor((i=0;i<256;i++));do        echo $i ;        mysql -h68.152.118.34 -ubhokjodbuser [email protected] -e "use bhokjodbuser_data;alter table jodbuser_data$i MODIFY column intro varc

Hive Shell常用操作

1.本文命令的两种模式: 交互模式,即hive的shell环境:hive > …. 非交互模式:普通的Linux命令模式:%..... 2.Hive Shell常用操作 1) hive -e:从命令行执行指定的HQL,不需要分号: % hive -e 'select * from dummy' > a.txt 2) hive –f: 执行HQL脚本 % hive -f /home/my/hive-script.sql 3) hive -i:在进入交互模式之前,执行初始化sql文件 % hive

Linux运维常用知识(4)

linux命令无效-bash: ls: command not found 一次重启后开机,基本所有的命令都不可用,只有少数的命令可用 [[email protected] ~]# ll -bash: ls: command not found [[email protected] ~]# pwd /root [[email protected] ~]# shutdown -r now -bash: shutdown: command not found [[email protected] ~

Hadoop hive sqoop zookeeper hbase生产环境日志统计应用案例(Sqoop篇)

5.Sqoop安装配置 在rmanager上操作 # tar -zxfsqoop-1.4.5.bin__hadoop-2.5.0.tar.gz -C /var/data/ # cd /var/data/; mvsqoop-1.4.5 sqoop  ##这里的sqoop是编译后的版本 # mvsqoop/conf/sqoop-site-template.xml sqoop/conf/sqoop-site.xml # cp /opt/mysql-connector-java-5.1.18-bin.j

Linux归档压缩、脚本编程之循环控制

一.Linux归档压缩 在一些备份服务器上为了节省硬盘空间以存储更多的内容,压缩是一个不错的选择,虽然压缩是拿cpu的时间去换硬盘空间有时并不合算.Linux的压缩工具一般只能压缩单个文本文件,如果要压缩一个目录,就必须先将目录打包归档.Linux有很多不同的压缩的工具,一般压缩比越大可能占用cpu的时间更长,下面来瞧一瞧Linux有哪些常用的工具吧. 1.compress.uncompress和zcat:压缩,展开数据,压缩文件后缀是.Z,此压缩工具已过时. compress压缩默认会删除原文

Hive基础之Hive表常用操作

本案例使用的数据均来源于Oracle自带的emp和dept表 创建表 语法: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED

【Linux基础】常用命令大全

Linux基础之常用命令大全 系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpuinfo 显示CPU info的信息 cat /proc/interrupts 显示中断 cat /

Linux文本处理常用命令

1.正则表达式 (1)正则表达式一般用来描述文本模式的特殊用法,由普通字符(例如字符a-z)以及特殊字符(称为元字符,如/.*.?等)组成.  (2)基本元字符集及其含义      ^ :只匹配行首.   如^a 匹配以a开头的行abc,a2e,a12,aaa,......      $ :只匹配行尾.   如^a 匹配以a结尾的行bca,12a,aaa,.......      * :匹配0个或多个此单字符. 如(a)* 匹配 空,a,aa,aaa,....      [] :只匹配[]内字符

[转]linux下终端常用命令和vi命令修改文件及保存的使用方法

首先介绍一下Ubuntu下各个目录的一般作用: / 这就是根目录,一台电脑有且只有一个根目录,所有的文件都是从这里开始的.举个例子:当你在终端里输入"/home",你其实是在告诉电脑,先从/(根目录)开始,再进入到home目录. /root 系统管理员(root user)的目录.至于系统管理员的权限有多大我这里就不在废话了.因此,请小心使用root帐号. /boot 系统启动文件,所有与系统启动有关的文件都保存在这里 . /bin 这里是存放系统的程序. /etc 主要存放了系统配置