hadoop批量命令脚本xrsync.sh传输脚本

1.xrsync.sh脚本

#!/bin/bash

if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi

p=$1
#echo p=$p
dir=`dirname $p`
#echo dir=$dir
filename=`basename $p`
#echo filename=$filename
cd $dir
fullpath=`pwd -P .`
#echo fullpath=$fullpath

user=`whoami`
for (( i = 202 ; i <= 204 ; i = $i + 1 )) ; do
   echo ======= s$i =======
   rsync -lr $p ${user}@s$i:$fullpath
done ;

  需要安装rsync远程数据同步工具

yum install rsync

  其中i代表服务器部分尾号名称,服务器名称为s202,s203,s204等

使用时需要将xrsync.sh放到/usr/local/bin下,在任何目录中都可以使用

例:将hbase-2.2.0同步到其它机器的 /opt/ 目录下

xrsync.sh hbase-2.2.0 /opt/

  

原文地址:https://www.cnblogs.com/qixing/p/11431607.html

时间: 2024-08-04 23:01:40

hadoop批量命令脚本xrsync.sh传输脚本的相关文章

hadoop批量命令脚本xcall.sh及jps找不到命令解决

1.xcall.sh批量命令脚本: #!/bin/bash [email protected] i=128 for (( i=128 ; i <= 131 ; i = $i + 1 )) ; do echo ============= s$i $params ============= ssh s$i "$params" done 其中i为服务器命名部分序号,服务器命名为s128,s129,s130,s131共4台机器 设置xcall.sh为可执行文件: chmod +x xca

【hadoop】如何向map和reduce脚本传递参数,加载文件和目录

本文主要讲解三个问题: 1 使用Java编写MapReduce程序时,如何向map.reduce函数传递参数. 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map.reduce脚本传递参数. 3 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map.reduce脚本传递文件或文件夹. (1) streaming 加载本地单个文件 (2) streaming 加载本地多个文件 (3

并发批量管理500台以上服务器脚本分享(shell版)

也许很多人认为shell不能并发任务,其实可通过其它一些方式来实现.下面的脚本是我批量快速管理500+服务器脚本,阅读该脚本前建议先看<自动执行远程主机命令expect脚本>.<自动远程拷贝expect脚本>和<getopt:命令行选项.参数处理> 用法: Usage: ./multi_main.sh [-h|--help] [-v|-V|--version] [-l|--iplist ... ] [-c|--config ... ] [-t|--sshtimeout

shell脚本介绍,shell脚本结构和执行方式,date命令的用法,shell脚本中的变量简介

笔记内容: 20.1 shell脚本介绍 20.2 shell脚本结构和执行 20.3 date命令用法 20.4 shell脚本中的变量 笔记日期:2017-11-21 20.1 shell脚本介绍 Shell Script,Shell脚本与Windows/Dos下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的.但是它比Windows下的批处理更强大,比用其他编程程序编辑的程序效率更高,它使用了Linux/Unix下的命令

freescale-sdk linux移植一搭建编译环境脚本host-prepare.sh分析

接下来使用自己的课外休息时间,对基于PowerPC架构freescale-sdk,进行linux移植和分析.主要参考官方文档freescale linux sdk START_HERE.html,首先对搭建编译环境脚本host-prepare.sh分析.在移植系统之前,需要搭建编译环境,安装必要的包,为后期编译系统做准备.很多人看到脚本就头疼,下面是我的分析过程,分析不好的地方可以在下面留言,一起讨论. 一.搭建编译环境脚本分析./scripts/host-prepare.sh [email p

一个批量修改AD信息的小脚本

今天接到一个任务,一个子公司100来个USER的账号,更换了新的电话号码,另顺便需要在AD里面体现出 各USER的职位. 好吧,100多个人,如果手动来改,量也很大,首先想到的是用脚本来修改,刚好想到了powershell. 首先,准备一个CSV文件,把USER按如下格式排练好,各值之间用逗号隔开,之后命名test.csv文件 samaccountname,telephonenumber,title user1,1234567,engineer user2,2345678,sales ...,.

ubuntu下的第一个脚本file.sh

1.新建空文档,写入shell命令: #!/bin/sh cd /home/plg ./usb 第一行一定要有,一开始参考网上写的#!/usr/bin/sh,会提示错误 bash: ./file.sh: /usr/bin/sh: bad interpreter: No such file or directory: 2.修改权限 chmod +x file.sh 3.运行脚本 ./file.sh

omcat运行控制脚本catalina.sh分析

分析catalina.sh脚本的目的,一个是学习脚本中shell的各类用法,还有就是为编写tomcat多服务器远程启动脚本做准备,实现版本上线自动化无人干预部署,此前作者已发表" tomcat变量环境脚本setclasspath.sh分析"来为此篇作为铺垫,需要两篇文章一起看,才能全面的分析出tomcat的启动过程. tomcat版本:6.0.35 #!/bin/sh # Licensed to the Apache Software Foundation (ASF) under on

Hadoop集群批量命令执行

./pdsh -R ssh -w node-10-0[0-5] hostname -R:指定传输方式,默认为rsh,本例为ssh,如果希望ssh传输需要另行安装pdsh-rcmd-ssh,如果希望ssh无密码访问需要提前配置好. -w:指定待执行命令host,也可以这样配置,node_[1-9, 35,22] command:本例为hostname sudo /etc/init.d/hadoop-0.20-namenode start sudo /etc/init.d/hadoop-0.20-j