scp、rsync、xsync

scp、 拷贝完全相同

scp -r etc/hadoop/dfs.hosts [email protected]:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/

  

rsync、拷贝有差异的文件

rsync -rvl etc/hadoop/hdfs-site.xml [email protected]:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/

  

xsync、循环复制文件到所有节点相同的目录下

!/bin/bash
#1获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=‘basename $p1‘
echo fname=$fname

3 获取上级目录到绝对路径
pdir=‘cd -P $(dirname $p1); pwd‘
echo pdir=$pdir

4 获取当前用户名称
user=‘whoami‘

5 循环
for((host=103; host<105; host++)); do
echo ------------------- hadooppdir/[email protected]
done

  

原文地址:https://www.cnblogs.com/Jomini/p/11397064.html

时间: 2024-08-11 16:42:41

scp、rsync、xsync的相关文章

Linux系统crond、rsync、打包备份数据操作实战

Linux系统crond.rsync.打包备份数据操作实战 前面介绍了系统中定时任务.rsync.打包等各种操作,同时也介绍了实际生产环境中的各类案例,今天我们结合这几种功能做一次实战(备份数据) 一:项目背景 某公司WEB服务器数据非常重要,但是如果硬件出现故障,数据就会丢失,人工备份比较费时费力,因些需要进行相关自动备份,并且要备份至指定的备份服务器上 具体备份内容有: 1.网站站点所有目录及相关文件 2.系统相关的配置文件 3.网站的访问日志文件 具体要求如下:(每天0点备份) 1.WEB

Centos下关于ssh、scp与rsync设置与应用

最近应公司要求,需要对文件数据进行远程传输与备份操作,特此写了一篇文章记录下了关于ssh.scp以及rsync的应用配置全过程,可能过程太过罗嗦,但主要就是想在不遗漏每个过程的情况下对此进行阐述,希望大家能够体谅.当然类似的文章还有很多,本文仅以个人的名义来写的,不喜勿喷!如果文章中有什么错误的地方还请各位大神多多指点!万分感谢!一.ssh在文件共享里面的应用这个ssh可不仅仅是一个远程登录的一个服务,其实呢!它包括了几个组件:ssh(远程登录).sftp(文件共享[类似FTP]).scp(文件

linux同步工具scp、rsync

linux下的文件同步主流的应该有两种方式,一种是scp(基于local.ssh),另外一种是rsync(多种方式local.ssh.rsyncd) scp执行命令格式 scp [OPTIONS] source destination 举例(本地到远程,反之远程到本地) scp /home/daisy/full.tar.gz [email protected]:/home/root 复制目录加参数 -r -v参数来提供SCP进程的详细信息 -p参数会帮到把预计的时间和连接速度会显示在屏幕上. -

scp、paramiko、rsync复制文件的区别

1.paramiko只能复制文件,而不能复制目录,复制时,已经存在的会被覆盖;要想复制目录,只能把目录里的文件一个一个复制过去 2.scp可以复制文件.目录,复制时,已经存在的会被覆盖:可以模糊匹配:scp *.jar [email protected]:~/aa:可以递归复制,参数-r 3.rsync功能比较强大,复制时,可以选择覆盖或者不覆盖:可以复制目录.文件:可以模糊匹配等:可以递归复制,参数-r 4.scp还非常不占资源,不会提高多少系统负荷,在这一点上,rsync就远远不及它了.虽然

远程文件传输工具sftp、scp、rsync

一.scp 格式 scp [options] [[email protected]]host : /sourcefile /destpathscp [options] /sourcefile [[email protected]]host:/destpath 常用选项:- -C: 压缩数据流-r: 递归复制-p: 保持原文件的属性信息(有时会用到)-q: 静默模式-P PORT: 指明remote host的监听的端口 scp只时和临时的文件传输,其基于ssh之上,所以安全性比较有保证,但是功能

scp、paramiko、rsync上传下载限流、限速、速度控制方法

1.scp限速 scp -l 800 a.txt  [email protected]:/home/admin/downloads 此时的传输速率就是800/8=100KB左右 man -a scp查看参数含义.注意单位是bit 2.rsync是用来同步更新的,也可以用来上传文件,但是不建议这样使用 man -a rsync查看参数帮助信息 使用rsync实现限速100KB/s   rsync -auvzP --bwlimit=100 本地文件 远程文件 参数说明:  v:详细提示   a:以a

rsync参数详解、利用ssh、rsync 实现数据的定时同步

rsync 简介 rsync(remote synchronize)是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机之间的文 件.也可以使用 rsync 同步本??硬盘中的不同目录. rsync 是用于替代 rcp 的一个工具,rsync 使用所谓的 rsync算法 进行数据同步,这种算法只传送两个文件 的不同部分,而不是每次都整份传送,因此速度相当快.您可以参考 How Rsync Works A PracticalOverview 进一步了解 rsync 的运作机制. rsy

Server Data Synchronization Via Linux rsync、rsync+inotify Between Load Balance Server

目录 1. 远程文件同步的应用场景 2. rsync+crontab 3. rsync+inotify 1. 远程文件同步的应用场景 在负载均衡集群的应用场景中,往往在多台web server的前端有一个提供负载均衡的Load Balance Server 1. 客户端的通过访问一个统一的域名到这个Load Balance上,例如:www.test.com,Load Balance Server会根据负载调度算法将请求合理地分配到集群的子节点中 2. 客户端上传的文件同样也会被Load Bala

三十五、 rsync工具介绍、rsync常用选项、rsync通过ssh同步

三十五. rsync工具介绍.rsync常用选项.rsync通过ssh同步 一.rsync工具 数据备份,很重要. rsync工具:数据备份的工具.remote sync(远程同步) rsync可以远程同步数据(类似scp),也可以本地同步数据(类似cp). 不同于cp或scp的是,它不会覆盖以前的数据(当数据已存在),而是先判断已存在的数据和新数据的差异,只有数据不同时才会把不同的部分覆盖. 若没有rsync命令,就yum install -y rsync安装. # rsync -av /et