Spark-shell批量命令执行脚本

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv  --name spark-sql-test --executor-cores 8 --executor-memory 8g   --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out")
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF
时间： 2024-11-05 18:56:57

Spark-shell批量命令执行脚本的相关文章

小米范工具系列之十：小米范SSH批量命令执行工具

小米范SSH批量命令执行工具的主要功能是自动登录多台机器,并执行指定的命令,比如批量抓去shadow.批量获取系统版本等. 界面如下图: 使用方法: 1.输入目标ip.用户名.密码.ssh端口(使用空格或tab键分隔),每行一个目标. 2.设置线程数(如果不设置默认为5). 3.选择输出,默认为右侧输出窗口,可以设置每个ip一个文件,比如抓去shadow,可以把每个ip的执行结果保存到一个txt文件放在当前目录下. 4.点击执行即可. 最新版本下载地址:http://pan.baidu.com/

Hadoop集群批量命令执行

./pdsh -R ssh -w node-10-0[0-5] hostname -R:指定传输方式,默认为rsh,本例为ssh,如果希望ssh传输需要另行安装pdsh-rcmd-ssh,如果希望ssh无密码访问需要提前配置好. -w:指定待执行命令host,也可以这样配置,node_[1-9, 35,22] command:本例为hostname sudo /etc/init.d/hadoop-0.20-namenode start sudo /etc/init.d/hadoop-0.20-j

Shell之命令执行的判断依据

目录 Shell之命令执行的判断依据 参考 Shell之命令执行的判断依据 ?? Written by Zak Zhu 学习python风格, 优雅规范书写shell代码 参考 鸟哥私房菜 命令执行的判断依据 cmd1 ; cmd2 先执行cmd1且不判断对错, 再执行cmd2 cmd1 && cmd2 && 逻辑与运算符 如果cmd1执行正确($?=0), 才会执行cmd2 如果cmd1执行错误($?≠0), 则cmd2不执行 cmd1 || cmd2 || 逻辑或运算符

sqlserver2008数据库自动备份的sql脚本及使用bat命令执行脚本

-----sql脚本 declare @fileName varchar(255) ,--定义备份文件名变量         @dbname varchar(255)--定义备份数据库名变量declare mycursor cursor fast_forward for select name from master..sysDatabases order by name --定义一个游标对象 open mycursor --打开游标set @dbname='pysf'set @fileName

shell exec命令执行shell打印输出到一个文件

[[email protected] ~]# cat 1.sh #!/bin/bash exec 1>> /tmp/2.log 2>>/tmp/2.log date echo 111 ldkkdfkslfds date [[email protected] ~]# ./1.sh [[email protected] ~]# cat /tmp/2.log Sat Jun 9 15:08:19 UTC 2018 111 ./1.sh: line 6: ldkkdfkslfds: com

expect脚本同步文件、指定host和要同步的文件、构建文件分发系统、批量远程执行命令

expect脚本同步文件 1.自动同步文件 [[email protected] shell]# vi 4.expect 增加如下脚本内容: #!/usr/bin/expect set passwd "123456" spawn rsync -av [email protected]:/tmp/12.txt /tmp/ expect { "yes/no" { send "yes\r"} "password:" { send &

Shell执行脚本

Shell作用是解释执行用户的命令,用户输入一条命令,Shell就解释执行这一条,这种方式称为交互式,但还有另一种执行命令的方式称为批处理方式,用户事先写一个Shell脚本,Shell可以一次把这些命令执行完. 如下例子: 第一种执行方式:chmode+x script.sh 执行过程: Shell会fork一个子进程并调用exec执行./script.sh这个程序,exec系统调用会把子进程代码段替换成./script.sh程序的代码段,exec有一种机制,如果要执行的是一个文本文件,并且第一

CentOS 7.3验证Linux命令执行的优先级

在Linux中,不同的目录下可能有相同的文件.虽然同名,两个文件的作用却完全不同. 执行同一命令,可能会显示完全不同的结果.如pwd本来显示当前工作目录,我们却可以定义别名使它输出时间. 要了解命令执行的先后顺序,首先我们要明白内部命令和外部命令的不同.使用type command可以查看命令类型. 我们可以看到以上四个命令的显示结果是完全不同的. 这里pwd是内部命令,cal是hash(缓存)命令,ls是别名,date则是外部命令. 这里要引进一个变量PATH,通过echo,我们可以查看变量P

shell中命令间的逻辑关系

在shell中命令执行成功返回值为0,不成功返回值为非0 逻辑与: shell中0为真,非0为假 第一个条件为真时,第二条件必须判断: 第一个条件为假时,第二条件不再判断,最终结果为假: 当第一个命令执行成功继续执行第二个命令,最终结果由第二个命令执行结果决定. 当第一个命令执行失败第二个命令不再执行,最终结果为失败. 理解为乘法运算(0为假1为真) 1*1=1        1*0=0          0*1=0        0*0=0 例: 1.user1存在,前一条命令执行成功,第二条