ubuntu14.04 rsync配置

Rsync(remote synchronize) 是一个远程数据同步工具,可以使用“Rsync算法”同步本地和远程主机之间的文件。Rsync的好处是只同步两个文件不同的部分,相同的部分不在传递。类似于增量备份,这使的在服务器传递备份文件或者同步文件,比起scp工具要省好多时间。

OS:        ubuntu server 14.04

server:  192.168.64.128

client:    192.168.64.145

Server

1.ubuntu  14.04默认已安装rsync,rsync服务默认不是启动的,我们要修改下面的文件。

[plain] view
plain
 copy

  1. sudo vim /etc/default/rsync

[plain] view
plain
 copy

  1. RSYNC_ENABLE=true   #false改true

2.修改配置文件

[plain] view
plain
 copy

  1. sudo cp /usr/share/doc/rsync/examples/rsyncd.conf /etc   #已默认安装的软件,默认不启动的似乎都要这么做

我们先来查看一下这个文件

[plain] view
plain
 copy

  1. sudo cat /etc/rsyncd.conf

[plain] view
plain
 copy

  1. # sample rsyncd.conf configuration file
  2. # GLOBAL OPTIONS
  3. #motd file=/etc/motd #登录欢迎信息
  4. #log file=/var/log/rsyncd #日志文件
  5. # for pid file, do not use /var/run/rsync.pid if
  6. # you are going to run rsync out of the init.d script.
  7. pid file=/var/run/rsyncd.pid
  8. #指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默认值是daemon。
  9. #syslog facility=daemon
  10. #自定义tcp选项,默认是关闭的
  11. #socket options=
  12. #以下是模块信息,我们可以创建多个模块
  13. # MODULE OPTIONS
  14. [ftp]
  15. comment = public archive #模块描述
  16. path = /var/www/pub #需要同步的路径
  17. use chroot = yes #默认是yes|true,如果为true,那么在rsync在传输文件以前首先chroot到path参数指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要root权限,并且不能备份指向外部的符号连接指向的目录文件。
  18. #       max connections=10 #最大连接数
  19. lock file = /var/lock/rsyncd #指定支持max connections参数的锁文件。
  20. # the default for read only is yes...
  21. read only = yes #只读选项
  22. list = yes #客户请求时可用模块时是否列出该模块
  23. uid = nobody #设定该模块传输文件时守护进程应该具有的uid
  24. gid = nogroup #设定该模块传输文件时守护进程应具有的gid,此项与uid配合可以确定文件的访问权限
  25. #       exclude = #用来指定多个由空格隔开的多个模式列表,并将其添加到exclude列表中。这等同于在客户端命令中使用--exclude来指定模式,不过配置文件中指定的exlude模式不会传递给客户端,而仅仅应用于服务器。一个模块只能指定一个exlude选项,但是可以在模式前面使用"-"和"+"来指定是exclude还是include    #这个我的理解是排除目录中不需同步的文件
  26. #       exclude from = #可以指定一个包含exclude模式定义的文件名
  27. #       include = #与exclude相似
  28. #       include from = #可以指定一个包含include模式定义的文件名
  29. #       auth users = #该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果"auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的 challenge/response认证协议。用户的名和密码以明文方式存放在"secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)
  30. #       secrets file = /etc/rsyncd.secrets #该文件每行包含一个username:password对,以明文方式存储,只有在auth users被定义时,此选项才生效。同时我们需要将此文件权限设置为0600
  31. strict modes = yes #该选项指定是否监测密码文件的权限,如果该选项值为true那么密码文件只能被rsync服务器运行身份的用户访问,其他任何用户不可以访问该文件。默认值为true
  32. #       hosts allow = #允许的主机
  33. #       hosts deny = #拒绝访问的主机
  34. ignore errors = no #设定rsync服务器在运行delete操作时是否忽略I/O错误
  35. ignore nonreadable = yes #设定rysnc服务器忽略那些没有访问文件权限的用户
  36. transfer logging = no #使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中
  37. #       log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes. #设定日志格式
  38. timeout = 600 #超时设置(秒)
  39. refuse options = checksum dry-run #定义一些不允许客户对该模块使用的命令选项列表
  40. dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz #告诉rysnc那些文件在传输前不用压缩,默认已设定压缩包不再进行压缩

日志格式选项列表:

%h: 远程主机名

%a: 远程IP地址

%l: 文件长度字符数

%p: 该次rsync会话的进程id

%o: 操作类型:"send"或"recv"、”del.”

%f: 文件名

%P: 模块路径

%m: 模块名

%t: 当前时间

%u: 认证的用户名(匿名时是null)

%b: 实际传输的字节数

%c: 当发送文件时,该字段记录该文件的校验码

下面我们来定义自己的conf文件

[plain] view
plain
 copy

  1. # sample rsyncd.conf configuration file
  2. # GLOBAL OPTIONS
  3. #motd file=/etc/motd
  4. log file=/var/log/rsyncd
  5. # for pid file, do not use /var/run/rsync.pid if
  6. # you are going to run rsync out of the init.d script.
  7. pid file=/var/run/rsyncd.pid
  8. syslog facility=daemon
  9. #socket options=
  10. # MODULE OPTIONS
  11. [my_rsync_bk] #名字可以任意命名,只要客户端的rsync命令一致
  12. comment = public archive
  13. path = /home/rsync_bk                             #指定路径,如果没有这个目录自己建。
  14. use chroot = no
  15. #       max connections=10
  16. lock file = /var/lock/rsyncd
  17. # the default for read only is yes...
  18. read only = yes
  19. list = yes
  20. uid = nobody
  21. gid = nogroup
  22. #       exclude =
  23. #       exclude from =
  24. #       include =
  25. #       include from =
  26. auth users = liu_rsync              #rsync连接时的用户名,要和客户端rsync的命令一致
  27. secrets file = /etc/rsyncd.secrets #这里是保存密码的地方,如果屏蔽掉就不用密码了
  28. strict modes = yes
  29. hosts allow = 192.168.64.145 #运行的客户端ip
  30. #       hosts deny =
  31. ignore errors = yes
  32. ignore nonreadable = yes
  33. transfer logging = yes
  34. log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
  35. timeout = 600
  36. refuse options = checksum dry-run
  37. dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

创建一个密码文件

[plain] view
plain
 copy

  1. sudo vim /etc/rsyncd.secrets

内容为:liu_rsync:123

[html] view
plain
 copy

  1. sudo chmod 0600 /etc/rsyncd.secrets

启动rsync

[plain] view
plain
 copy

  1. sudo /etc/init.d/rsync start

如果启动成功,那么server端酒配置成功了。

Client

我们再来看一下客户端的操作,一般客户端不需要进行特殊的配置,直接同步即可

[plain] view
plain
 copy

  1. rsync -vzrtopg --progress  [email protected]::my_rsync_bk .  #.为当前目录,在服务端touch一个文件,同步后就会出现,当然你也可以指定一个位置比如/databk,需注意所建立的权限!

此时就可以同步Server端的数据了,但是到目前为止,只能把Server端文件夹现有的数据同步下来,如果在Server端新加文件却不能同步进来,必须在客户端重新执行一次这个命令才行,试问这样水能忍受?

所以接下来我们借助于crontab去实现定时自动同步功能。

但是首先我们要创建一个密码文件:

[plain] view
plain
 copy

  1. sudo vim /etc/rsync.pwd输入123,保存     #密码要一致

注意指定使用的密码文件中只需要有密码,不要有用户名。

注意:下面这两步操作是必须的,没有足够权限同步就会不成功,ls -l 你所指向的目录

[plain] view
plain
 copy

  1. sudo chmod 0600 /etc/rsync.pwd
  2. sudo chown 普通用户:普通用户组 /etc/rsync.pwd

注:这里如果使用的是非root用户,这里只能使用自己当前用户和自己所在的组,不过这种设置方式我没有在linux试过,我在MAC机上试的结果并非如上所述,而是rsync.pwd只能被当前用户独有即权限之能是如下所示:

[plain] view
plain
 copy

  1. -rw-------

如果看不懂,可以去百度一下unix下权限表示

然后我们打开crontab,使它自动同步

[plain] view
plain
 copy

  1. crontab -e

[plain] view
plain
 copy

  1. */1 * * * * rsync -a --password-file=/etc/rsync.pwd [email protected]::my_rsync_bk /databk

一分钟同步一次。只要你在Server端添加了新文件或新文件夹,那么1分钟后就会自动同步到客户端。但是这样就完美了吗?还没有,因为你发现它其实还有问题,当我在Server端删除一个文件或目录的时候,1分钟后,客户端还有,这是怎么回事?这当然是有原因的。

修改上述配置如下所示:

[plain] view
plain
 copy

  1. */1 * * * * rsync -a --delete --password-file=/etc/rsync.pwd [email protected]::my_rsync_bk /databk

添加一个--delete参数就行了,这样以后在Server端删文件已能同步了。

注意: 若用普通用户身份运行rsync命令,同步后的文件的属主将改变为这个普通用户身份;若用超级用户身份运行rsync命令同步后文件属性保持原来用户身份不变。若指定-tg但目标计算机没有指定用户和组,则复制的文件归入501用户 501组

参数说明:

[plain] view
plain
 copy

  1. -a 递归方式传输文件,并保持文件属性,等价-rlptgoD不包含-H
  2. -r 子目录以递归模式处理
  3. -l 保持符号链接文件
  4. -H 保持硬链接文件
  5. -p 保持文件权限
  6. -t 保持文件时间信息
  7. -g 保持文件归属组信息
  8. -o 保持文件归属用户信息
  9. -D 保持设备文件和特殊文件
  10. -z 在传输文件时进行压缩处理
  11. --exclude=PATTERN 指定排除一个不需要传输文件匹配模式
  12. --exclude-from=FILE 从FILE中读取排除规则
  13. --include=PATTERN 指定需要传输的文件匹配模式
  14. --include-from=FILE 从FILE中读取匹配规则
  15. --copy-unsafe-links 复制指向复制源路径目录以外的链接文件
  16. --safe-links 忽略指向复制源路径目录以外的链接文件(默认)
  17. --existing 仅更新那些已经存在于接收端的文件,而不复制新创建文件
  18. --ignore-existing 忽略那些已经存在于接收端的文件,只复制新创建文件
  19. -b 当有变化时,对目标目录中的旧文件进行备份
  20. --backup-dir=DIR 与-b结合使用,指定备份路径
  21. --link-dest=DIR 当文件未改变时在指定路径创建硬链接文件
  22. --delete 删除接收端还存在而保存端不存在的文件
  23. --delete-before 接收端在传输之前进行删除操作(默认)
  24. --delete-during 接收端在传输过程中进行删除操作
  25. --delete-after 接收端在传输之后进行删除操作
  26. --delete-excluded 接收端在传输同时进行删除操作
  27. --e,--rsh=COMMAND 指定代替rsh的shell程序,例如可以指定为ssh
  28. --ignore-erros 即使出现I/O错误也要进行删除
  29. --partial 保留因故没有完全传输的文件,以加快随后的再次传输
  30. --progress 在传输时显示传输过程
  31. -p 等价于—partial—progress
  32. --delay-updates 将正在更新的文件先保存到.~tmp~临时目录,待传输完毕再更新目标文件
  33. -v,--verbose 详细输出模式
  34. -q,--quiet 精简输出模式
  35. -h,--human-readable 输出文件大小
  36. -n,--dry-run 显示那些文件将要被传输
  37. --list-only 仅列出文件而不进行复制
  38. --rsync-path=PROGRAM 指定远程服务器上的rsync命令所在路径
  39. --password-file=FILE 指定从FILE中读取口令,避免在终端中输入口令
  40. -4,-6 使用IPv4或者IPv6
  41. --version 打印版本信息
  42. --help 显示帮组信息

接下来举几个常用的例子:

 1.在本地机器上对两个目录同步

[plain] view
plain
 copy

  1. $ rsync -zvr filename1 filename2

上述代码是将filename1中的文件与filename2中的文件同步,如果将filename2中的文件同步到filename1中,修改代码为:

[plain] view
plain
 copy

  1. $ rsync -zvr filename2 filename1

2.使用rsync –a 同步保留时间按标记

[plain] view
plain
 copy

  1. $ rsync -azv filename1 filename2

使用上述命令,将filename2中新同步的文件的时间与filename1中的创建的时间相同,它保留符号链接、权限、时间标记、用户名及组名相同。

3.将远程服务器的文件同步到本地

[plain] view
plain
 copy

  1. $rsync -avz [email protected]:/home/ubuntu/filename2 filename1

上述命令是将远程192.168.0.1的主机上filename2同步到本地的filename1。

注意:如果远程主机的端口不是默认的22端口,假如是4000端口,上述的命令修改为,

[plain] view
plain
 copy

  1. $ rsync -avz ‘-e ssh -p 4000‘ [email protected]:/home/ubuntu/filename2 filename1

4.从本地同步文件到远程服务器

[plain] view
plain
 copy

  1. $rsync -avz filename1 [email protected]:/home/ubuntu/filename2

上述命令是将本地的filename1同步到远程192.168.0.1的主机上。

同理如果端口不是22,使用以下命令

[plain] view
plain
 copy

  1. $ rsync -avz ‘-e ssh -p 4000‘ filename1 [email protected]:/home/ubuntu/filename2
时间: 2024-08-12 04:05:06

ubuntu14.04 rsync配置的相关文章

装了WIN8.1企业版和Ubuntu14.04.LTS,配置120G固态硬盘

装了WIN8.1企业版和Ubuntu14.04.LTS,配置120G固态硬盘,感觉很不错,各种唯美,简洁,快速!是我所追求的完美,虽然,丢失了很多数据,特别是网站资料,一下回到了一个月前的备份,以后要关机前备份了,而且现在用的是固态硬盘,好想做一个数据维护高手和服务器搭建高手,让数据随心而动!! .. 这磁盘使用率,碉堡了,

Ubuntu14.04安装配置SVN及Trac

还是个实习生的时候,项目管理十分欠缺,会出现很多问题,痛定思痛,决定要改变现状,养成良好的项目管理习惯,看网上工具很多,在这里尝试使用SVN作代码版本控制,使用trac作为项目管理追踪.本文采用的操作系统是ubuntu14.04,配置起来并不难. 1.安装所需软件 只要能联网,linux操作系统装软件都十分简单.ubuntu使用apt-get install 直接进行软件安装.必需的软件包有SVN的subversion,trac以及apache2相关软件包.一句话装完所有包. sudo apt-

Ubuntu14.04下配置Java环境

Java环境配置网上已经有很多资料了,不过大多不适合初学者,Linux菜鸟更是不知所措了...Ubuntu14.04下配置Java环境,具体方案如下: Oracle官网上下载"jdk-8-linux-i586.tar.gz"和"jre-8-linux-i586.tar.gz",放置于~/java目录下(主目录下新建个文件夹"java").或者从下述链接下载: http://yun.baidu.com/share/link?shareid=2693

Linux学习篇之---Ubuntu14.04防火墙配置

Ubuntu14.04防火墙配置 1.安装: apt-get install ufw 2.启用: ufw enable ufw default deny 3.开启/禁用: ufw allow 22/tcp   允许所有的外部IP访问本机的22/tcp (ssh)端口 ufw deny 22/tcp     禁止所有外部IP访问本机的22/tcp(ssh)端口 ufw delete deny 22/tcp 删除防火墙中的规则 4.实例: 1)查看本机防火墙状态: 2)启用防火墙: 因为我用的ssh

在ubuntu14.04上配置cuda_caffe_cudnn_anaconda_digits

参考网上的很多网站,以这篇为主:http://blog.csdn.net/yhl_leo/article/details/50961542 这篇算是自己对caffe学习的一个总结系列的开头.首先因为caffe的依赖项比较多,配置起来也比较麻烦.这篇算是比较详尽地把caffe的各种相关配置说清楚.转载请注明出处. 推荐ubuntu14.04版本,因为digits的支持比较好.显卡支不支持GPU加速要搞清楚啊,不支持就全用CPU算吧,别浪费时间折腾cuda了. 大家基本要按照官方教程上面来.但是官方

ubuntu14.04安装配置jdk1.8.0_25

Reference: http://jingyan.baidu.com/article/eb9f7b6d8f82a6869364e8a7.html 今天尝试在ubuntu14.04 LTS上安装jdk-8u25-linux-x64.tar.gz,并配置环境变量,献给新手,亲测有效,下面是具体的安装方法! 工具/原料 jdk-8u25-linux-x64.tar.gz Ubuntu 14.04LTS操作系统 方法/步骤 1 下载JDK 1.8 打开http://www.oracle.com/tec

Ubuntu14.04下配置固定IP

实验室需要构建静态网站作为个人知识管理工具,每个人要求都有属于自己的静态网站进行知识积累和交流.但是实验室的路由有时候会关闭,重启后给每台机器重新分配ip,因此为了方便访问每台主机,需要设置静态ip.参考了网上的一些教程,都没有成功,后来发现这一篇,设置成功,特此记录. 原文地址:http://jingyan.baidu.com/article/e5c39bf5bbe0e739d7603396.html ubuntu14.04设置静态ip的流程如下: 1.首先用root用户登陆,并输入密码. ~

Ubuntu14.04 安装配置Hadoop2.6.0

目前关于Hadoop的安装配置教程书上.官方教程.博客都有很多,但由于对Linux环境的不熟悉以及各种教程或多或少有这样那样的坑,很容易导致折腾许久都安装不成功(本人就是受害人之一).经过几天不断尝试,终于成功了.现将整个关于Hadoop的安装配置步骤分享出来,一方面为了希望能对有需要的朋友有所帮助,一方面为了总结所遇到的问题和解决方案.接下来开始正文. 准备工作 提前下载好以下工具: JDK安装包 Eclipse安装包 Hadoop安装包 Eclipse的Hadoop插件插件 本人用的JDK版

Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行

我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便. 结点信息:(分布式集群架构:master为主节点,其余为从节点) 机器名 IP 作用 master 122.205.135.254