运维技巧系列之rebocopy同步备份

RoboCopy,它是一个命令行的目录复制命令,自从Windows NT 4.0 开始就成为windows 资源工具包的一部分,然后在Windows Vista、Windows 7和 Windows Server 2008采用作为标准的功能。Windows 7的此项功能也得到升级——已经可以支持多线程了,这就意味着可以大大提升复制速度。而且该功能可以创建两个文件结构完全的镜像副本而不复制任何不需要的重复文件,同时还允许您保留所有相关文件信息,包括日期和时间戳、安全访问控制列表(ACL))等等。下面先看看这条命令的用法吧:

命令语法:ROBOCOPY source destination [file [file]…] [options]

源:源目录(驱动器:\路径或\\服务器\共享\路径)
目标:目标目录(驱动器:\路径或\\服务器\共享\路径)
文件:要复制的文件(名称/通配符: 默认为 "*.*")

复制选项

/S:复制子目录,但不复制空的子目录。
/E:复制子目录,包括空的子目录。
/LEV:n:仅复制源目录树的前 n 层。
/Z:在可重新启动模式下复制文件。
/B:在备份模式下复制文件。
/ZB:使用可重新启动模式;如果拒绝访问,请使用备份模式。
/EFSRAW:在 EFS RAW 模式下复制所有加密的文件。
/COPY:复制标记:: 要复制的文件内容(默认为 /COPY:DAT)。(复制标记: D=数据,A=属性,T=时间戳)。(S=安全=NTFS ACL,O=所有者信息,U=审核信息)。
/DCOPY:T:复制目录时间戳。
/SEC:复制具有安全性的文件(等同于 /COPY:DATS)。
/COPYALL:复制所有文件信息(等同于 /COPY:DATSOU)。
/NOCOPY:不复制任何文件信息(与 /PURGE 一起使用生效)。
/SECFIX:修复所有文件的文件安全性,即使是跳过的文件。
/TIMFIX:修复所有文件的文件时间,即使是跳过的文件。
/PURGE:删除源中不再存在的目标文件/目录。
/MIR:镜像目录树(等同于 /E 和 /PURGE)。
/MOV:移动文件(复制后从源中删除)。
/MOVE:移动文件和目录(复制后从源中删除)。
/A+:[RASHCNET]:将给定的属性添加到复制文件。
/A-:[RASHCNET]:从复制文件中删除给定的属性。
/CREATE:仅创建目录树和长度为零的文件。
/FAT:仅使用 8.3 FAT 文件名创建目标文件。
/256:关闭超长路径(> 256 字符)支持。
/MON:n:监视源;发现多于 n 个更改时再次运行。
/MOT:m:监视源;如果更改,在 m 分钟时间内再次运行。
/RH:hhmm-hhmm:运行小时数 – 可以启动新副本的时间。
/PF:以每个文件(而不是每个步骤)为基础检查运行小时数。
/IPG:n:程序包间的间距(ms),以释放低速线路上的带宽。
/SL:对照目标复制符号链接。
/MT[:n]:使用 n 个线程进行多线程复制(默认值为 8)。n 必须至少为 1,但不得大于 128。该选项与 /IPG 和 /EFSRAW 选项不兼容。使用 /LOG 选项重定向输出以便获得最佳性能。

文件选择选项

/A:仅复制具有存档属性集的文件。
/M:仅复制具有存档属性的文件并重置存档属性。
/IA:[RASHCNETO]:仅包含具有任意给定属性集的文件。
/XA:[RASHCNETO]:排除具有任意给定属性集的文件。
/XF 文件[文件]…:排除与给定名称/路径/通配符匹配的文件。
/XD 目录[目录]…:排除与给定名称/路径匹配的目录。
/XC:排除已更改的文件。
/XN:排除较新的文件。
/XO:排除较旧的文件。
/XX:排除多余的文件和目录。
/XL:排除孤立的文件和目录。
/IS:包含相同文件。
/IT:包含已调整的文件。
/MAX:n:最大的文件大小 – 排除大于 n 字节的文件。
/MIN:n:最小的文件大小 – 排除小于 n 字节的文件。
/MAXAGE:n:最长的文件存在时间 – 排除早于 n 天/日期的文件。
/MINAGE:n:最短的文件存在时间 – 排除晚于 n 天/日期的文件。
/MAXLAD:n:最大的最后访问日期 – 排除自 n 以来未使用的文件。
/MINLAD:n:最小的最后访问日期 – 排除自 n 以来使用的文件。(If n < 1900 then n = n days, else n = YYYYMMDD date)。
/XJ:排除接合点。(默认情况下通常包括)。
/FFT:假设 FAT 文件时间(2 秒粒度)。
/DST:弥补 1 小时的 DST 时间差。
/XJD:排除目录的接合点。
/XJF:排除文件的接合点。

重试选项

/R:n:失败副本的重试次数: 默认为 1 百万。
/W:n:两次重试间的等待时间: 默认为 30 秒。
/REG:将注册表中的 /R:n 和 /W:n 保存为默认设置。
/TBD:等待定义共享名称(重试错误 67)。

日志记录选项

/L:仅列出 – 不复制、添加时间戳或删除任何文件。
/X:报告所有多余的文件,而不只是选中的文件。
/V:生成详细输出,同时显示跳过的文件。
/TS:在输出中包含源文件的时间戳。
/FP:在输出中包含文件的完整路径名称。
/BYTES:以字节打印大小。
/NS:无大小 – 不记录文件大小。
/NC:无类别 – 不记录文件类别。
/NFL:无文件列表 – 不记录文件名。
/NDL:无目录列表 – 不记录目录名称。
/NP:无进度 – 不显示已复制的百分比。
/ETA:显示复制文件的预期到达时间。
/LOG:文件:将状态输出到日志文件(覆盖现有日志)。
/LOG+:文件:将状态输出到日志文件(附加到现有日志中)。
/UNILOG:文件:以 UNICODE 方式将状态输出到日志文件(覆盖现有日志)。
/UNILOG+:文件:以 UNICODE 方式将状态输出到日志文件(附加到现有日志中)。
/TEE:输出到控制台窗口和日志文件。
/NJH:没有作业标头。
/NJS:没有作业摘要。
/UNICODE:以 UNICODE 方式输出状态。

作业选项

/JOB:作业名称:从命名的作业文件中提取参数。
/SAVE:作业名称:将参数保存到命名的作业文件
/QUIT:处理命令行后退出(以查看参数)。
/NOSD:未指定源目录。
/NODD:未指定目标目录。
/IF:包含以下文件。

----------------------------------------------------

----------------【例子】-------------------
实例一:文件,想怎么复制就怎么复制
[实现效果]
    随时将源文件夹中的纯文本(TXT)、Word文档(DOC)还有BMP、TIF图像文件复制到目标文件夹中,这是在“资源管理器”中直接拖放所做不到的。[简单命令]
    robocopy d:\work e:\back *.txt *.doc *.bmp *.tif /s

[参数讲解]
    将d:\work文件下的TXT、DOC、BMP、TIF复制到e:\back文件夹,其他文件则不复制。/s是表示包括除空文件下的所有子目录,如果没有则仅复制d:\work下的文件而不包括子目录。
[举一反三]
    (1)如果要将文件夹下的所有文件包括空文件夹全部复制到目标文件夹,命令为:

robocopyd:\work e:\back /e

/e表示复制所有子目录包括空文件夹。

(2)如果只想复制两个层级内的文件(再下的层级里的文件则不拷贝),输入命令:

robocopyd:\work e:\back /e /lev:2

/lev:2表示复制的层级,比如指定层级后d:\work\soft(二级)下的文件会被复制,而
d:\work\soft\office(***)下的文件则不被复制。
实例二:垃圾文件不复制
[实现效果]

在备份数据时,不可避免会将类似于*.bak、*.tmp的垃圾文件也复制到目标文件夹,用
Robocopy可以将我们经常碰到的垃圾文件在拷贝时就清理出家门,从而生成一个干干净净的文件夹。
    robocopy d:\work e:\back /e /xf *.tmp *.bak

[参数讲解]

/xf为指定不执行复制操作的文件类型,后面的文件名支持通配符。如果参数为/xd,则表示排除后
面指定的文件夹。
实例三:大文件 我不要
[实现效果]
    复制的时候,为了节省时间,需要将一些大文件暂时不拷贝,等有空闲时间时,再执行复制操作不
迟。
    robocopy d:\work e:\back /e /max:6000000
[参数讲解]
    仅复制不大于6000000bytes的文件,/max:后直接接数值,数值单位为byte。如果是/min:1000,则
复制不小于1000bytes的文件。两个参数可以同时使用,界定复制文件大小的范围。
实例四:只要这一周修改的文件
[实现效果]
    这一周处理了哪些文档?编辑了那些文件?将这些修改了的文档复制到一个文件夹下,再好好回味
一下。本例就是要将d:\work中最近七天内新建或修改了的TXT、DOC、XLS、PPT等文档,复制到e:\look目录下。
    robocopy d:\work e:\look /s *.txt *.doc *.xls *.ppt /maxage:7

[参数讲解]
    /maxage:表示最远修改时间的,修改时间比这个还要旧的文件将不会被复制。/maxage:后可接数字
,也可以接日期,数字小于1900时表示天数,否则就得用YYYYMMDD来表示具体的日期,如/maxage:20040210表示2004年2月10日后被修改的文件才允许复制。与之相对应的参数是/minage,表示最近修改时间,比这个时间新的文件将不被复制。
[举一反三]
    robocopy d:\work e:\look /s *.txt *.doc *.xls *.ppt /maxage:7 /minage:1
    则表示近七天内除今天外修改的文件才允许被复制。
    与修改时间相对的还有最近访问时间,/maxage指最远访问时间,比这个时间老的文件将不被复制。
/minage是指最近访问时间,比这个时间新的文件将不被复制。
实例五:我的文档排排站
[实现效果]
    上例中复制时,所有的文档都会带来本身的路径信息,文档是会将其所存放的文件夹也复制过来。
这给我们的翻阅查看带来很多不便,得单击多层文件夹才能看到文件,能不能将所有的文档直接复制到
一个文件夹下呢?这个需要用XXCOPY来实现。
    xxcopy d:\work e:\look /s /in*.txt /in*.doc /sg /yy /da:2004-02-02 /DB:2004-02-10/DA:1997-01-01
[参数讲解]
    此命令将d:\work中从2004年2月2日到2月10生成的 TXT、DOC文件全部直接复制到e:\look目录下,
不新建子文件夹,打开e:\look就能看到所有文件。XXCOPY和Robocopy的语法参数还是有较大差异的,表示指定文件类型时,XXCOPY会用/in*.*,表示日期时/da为在指定时间后,/db为在指定时间前,日期的表示为YYYY- MM-DD。
    另外,/sg表示复制文件到同一文件夹,/yy表示在所有要求用户应答的地方都自动认为是Yes,在执
行过程中不需要用户干预。
实例六:完全克隆

[实现效果]
    我们一般采取的复制方式默认是增量复制,即根据文件的大小、修改时间将源文件夹里的内容向目
标文件夹复制,久而久之,目标文件夹里就可能存在大量源件夹里早已经删除且无用的文件和文件夹。
如果要让备份完全相同,即拷贝时删除在目标文件夹里存在但源文件夹里并没有的文件。
    robcopy d:\work e:\look /mir
[参数讲解]
    /mir的作用等同于/purge /e,/purge表示清理目标文件夹有而源文件夹里没有的文件(夹)。通过
这个命令,能保证源文件夹和目标文件夹结构与文件完全相同。这在创建镜像备份时,非常有用。
实例七:移动文件
[实现效果]
    我们前面讲的都是复制,如果我们要将文件夹移动到目标文件夹,如何操作呢?
    robocopy d:\work e:\look /move /e
[参数讲解]
    其中,/move表示移动。
实例八:我只要文件夹骨架
[实现效果]
    笔者的工作需要周期性地新建和整理大量的文件夹,每次的文件夹结构一样,只是文件不尽相同。
如果是以前,就得一个一个简单重复去制作,而现在就不需要了。Robocopy和XXCOPY可以让你轻松实现复制文件夹结构。
    xxcopy d:\work e:\mystruct /t /yy /dl3
[参数讲解]
    将d:\work的三层文件夹结构复制到e:\mystruct中。其中/t表示创建文件夹结构,/dl3表示复制的
文件夹结构为***,数字可以自行输入,如果没有此参数,默认建立整个文件夹结构。
    Robocopy创建文件夹相对要麻烦一些,/create参数不仅要创建结构,还要创建文件夹下所有文件的
0字节文件,并非真正的结构,我们只好剑走偏锋了。
    robocopy d:\work e:\mystruct /e /lev:3 /minage:19000101
    为Robocopy指定一个不可能创建文件的时间,因为有参数/e 的作用,虽然没有文件符合要求(你机
器里没有早于1900年1月1日的文件),但Robocopy还是会忠实地创建文件夹,这样就达到了生成文件夹
结构的目的。另外,/lev:3表示复制文件夹的层级,同样可以自行输入。
实例九:隐藏文件我不要
[实现效果]
    在默认状态下,隐藏文件是并不显示的,但在复制的过程中,它还会随着文件夹一起被复制。可不
可以将这些隐藏文件排除在复制范围之外呢?
    robocopy d:\work e:\back /e /xa:h
[参数讲解]
    Robocopy支持对属性进行操作。上面的命令将复制源文件夹中全部文件,但全部具有隐藏属性的文
件将不会被复制。/xa:h,表示将具有隐藏属性的排除出复制范围,与之相对应的是/ia,表示包括只对
拥有指定属性的执行操作。属性有R:只读,A:存档,S:系统,H:隐藏等几种供选择。
[举一反三]
    此外,Robocopy还有/a+、/a-等参数对文件属性进行操作,分别表示在文件被拷贝后为文件添
加、去除某属性。
    robocopy d:\work e:\back /ia:rs  
    表示只复制具有只读和系统属性的文件。
    robocopy c: d: /-a:rsh
    表示将文件拷贝到D盘后,将拷贝生成的文件的只读、系统、隐藏属性去掉,以方便查看和修改。
实例十:NTFS权限跟着走
[实现效果]
    在使用Windows 2000、Windows XP时,在多用户使用一台电脑时或管理服务器时,经常要为文件夹
指定用户访问和修改的权限(如图1,需要分区为NTFS)。不过,用一般的复制方式无法保留我们设置的权限,这在服务器备份时意味着我们得重新设置用户权限。不过,Robocopy可以让我们在复制文件的时候,将属性、用户权限、所有者都可以一并复制到目标文件夹中。
    备份双友邻精彩5例-Robocopy和xxcopy全掌握
    robocopy d:\work e:\back /e /copyall

[参数讲解]
    /copyall等于/copy:datsou,表示将所有源文件夹的信息复制到目标文件夹中,其中D:文件数据,
A:文件属性,T:时间信息,S:权限信息,O:所有者信息,U:审核信息。
[举一反三]
    如果源文件夹的权限被修改,需要同样更新目标文件夹的权限时,我们不必再重复复制,只需输入
robocopy d:\work e:\back /is /copy:sou
    如果没有/copy参数,默认为/copy:dat,没有后面三项的信息。
实例十一:集中备份到文件服务器
[实现效果]
    希望每天能够把相应数据备份到文件服务器上,以免数据丢失。
    robocopy d:\work \ctips_serverarticlesshare  /e /copyall
[参数讲解]
    从中可以看出,robocopy完全支持文件服务器共享文件夹数据的拷贝。
[举一反三]
    (1)如果我们创建了一个环境变量,如定义%databack%为\ctips_serverarticles\back,那只要输
入相应的命令:robocopy d:\work  %databack% /e /copyall 即可把d:\work下的文件全部备份到
\ctips_serverarticles\back下。当然,如果\ctips_serverarticles\back空间不够时,只要更换环境
变量的值到其他文件夹,如\ctips_serverarticles ewback,上述命令无需更改就可以反数据拷贝到新
的文件夹中。
    (2)如果你只想把数据备份到共享文件夹中以你的机器名为名字的共享文件夹中,使用xxcopy会更
方便:xxcopy d:\work  \ctips_serverarticles/$HOST$ /e /yy 其中/$HOST$表示你的机器名,如你的
机器名为CTIPS_SYJ,那会把d:\work 文件夹下的文件拷贝到\ctips_serverarticles\CTIPS_SYJ文件夹
下。如果你的机器名为CTIPS_MLB,那执行上述命令后就可以把d:\work 文件夹下的文件拷贝到
\ctips_serverarticles\CTIPS_MLB文件夹下。由于同局域网内的机器名字不会相同,执行上述命令后就
可以保证数据不会被拷贝到同一文件夹下。
实例十二:一动就备份
[实现效果]
    有些工作内容非常重要,需要时时刻刻注意备份,可是我们哪里有这么好记性和耐性呢?这事,还
是交给 Robocopy来做吧。Robocopy能时时监视要备份的文件夹,只要文件夹修改到一定时间和程序,
Robocopy就会立即开始备份。它会一直监视文件夹,除非用户自己终止。
    robocopy d:\work e:\back  /e /copyall /mot:1 /mon:2
[参数讲解]
    上述命令表示复制文件夹所有信息到目标文件夹并进行监视。执行此命令后,命令提示符窗口如图2
所示。一旦时间过了一分钟,并且源文件夹至少有或2处以上的修改,Robocopy就会自动启动另一个进程,执行上述备份操作。Robocopy能监视源文件夹结构、文件和文件夹名称、大小、最后修改时间,在这里,甚至连属性和权限等信息被修改时,Robocopy也会记为修改次数。
  /mot后接的是时间(分钟),是指Robocopy执行操作的最短时间;/mon后接的是最少文件修改个数
。在监视过程中,会自动记录时间和修改的次数,只有同时符合以上两个条件时,Robocopy才开始执行
,执行完成后,这两个数据会自动清零,并重新开始监视文件夹,除非用户关闭命令提示符窗口或按下
Ctrl+Break键。
  [举一反三]
  如果你要开机就监视并备份相应文件夹,则可以把上述命令放到“启动”组中。
实例十三:不到时间不备份
  [实现效果]
  复制的过程总会占用系统资源,如果能设置在自己不在电脑边上的时候开始复制备份,就会方便得
多。比如,每天5:50下班,希望下班后,到达6点时,Robocopy自动开始备份相应数据。
  [简单命令]
  robocopy d:\work e:\back /e /rh:1800-1830
  [举一反三]
  运行后,复制操作将会等待至指定时间开始(如图3)。其中,RH格式为/RH:hhmm-hhmm,指定
Robocopy开始的时间段,在这个时间段外,拷贝会被暂停。时间为24小时格式,4个数字长,从0000到
2359,而且两个数字不能相同。
实例十四:计划任务备份
  以上的到时间备份、监视文件夹备份方式,每次重启系统会都会要重新执行以上命令,还远远不够
智能,如果能和Windows的计划任务配合,所有问题就迎刃而解了。以我们要在每天10:00自动调用
Robocopy开始监视备份文件夹为例,说一说计划任务与Robocopy的携手。
  第一步:新建BAT文件
新建一个批处理文件autobak.bat,输入如下命令
    robocopy D:\test\a D:\test\b /IT /v /PURGE /LOG:%date:~0,4%-%date:~5,2%-%date:~8,2%.log /TEE /R:10 /w:10 /e /NP

/IT:包含已调整的文件。

/V:生成详细输出,同时显示跳过的文件

/PURGE:删除源中不再存在的文件或目录

/LOG:%date:~0,4%-%date:~5,2%-%date:~8,2%.log:生成当前日期的日志文件

/TEE:输出到控制台窗口和日志文件

/R:10:失败副本的重复次数

/W:10:两次重试间隔的等待时间

/E:复制子目录,包括空目录

/NP:不显示已复制的百分比

备注:我的环境是windows 2003 ,这个命令是自己下载安装的,当在命令行输入rebocopy命令时,会提示不是内部命令,这时候就需要切换到安装目录下执行。

我的安装路径是D:\Windows Resource Kits\Tools

所以批处理文件这样写。

D:

cd "Windows Resource Kits\Tools"

robocopy F:\APP图库 \\172.18.18.11\ichsy\APP图库_BAK /IT /v /PURGE /LOG:%date:~0,4%-%date:~5,2%-%date:~8,2%.log /TEE /R:10 /w:10 /e /NP

第二步:创建计划任务
选择“开始→设置→控制面板”,双击“任务计划”图标。把autobak.bat批处理文件拖放到“任务计划
”窗口,然后双击新生成的autobak.bat图标,在弹出窗口中设置其属性。
  第三步:设置开始时间
切换到“日程安排”标签,单击“任务计划”下拉列表框,从中选择“每天”,“开始时间”设置为
10:00,单击“高级”可以设置起止的日期(如图4)。
  通过上述设置后,到了设置的时间,机器就会自动备份执行批处理文件,自动备份并监视文件夹。
实例十五:清理文件也拿手
  除了一般的复制功能,XXCOPY还有文件清理功能,可以将不需要的文件快速清理出硬盘。以下命令会清除文件和文件夹,请先建立测试文件夹掌握其操作后再对文件夹进行操作。
1.清除所有无用文件
xxcopy  d:\work*.tmp /s /h /yy /rs
/rs表示不复制而直接从源文件夹中删除指定文件,/h表示指定隐藏和系统文件。
2.清除文件夹
xxcopy  c: emp /rmdir /db:2002-01-01 /yy
删除c: emp中在2002年1月1日前的修改的文件夹。
3.删除空文件夹
xxcopy c: emp  /rmdir /sz:0 /yy
删除c: emp下所有空文件夹,/sz:0指定大小为0的文件(夹)。
4.删除0字节文件
xxcopy c: emp*.*  /sz:0 /s /h /yy /rs
通过以上四种方式的组合,我们可以轻松实现对文件及文件夹的整理工作。
最后,还有一几个小技巧告诉你,希望能有利于你更好地使用XXCOPY和Robocopy。
★将命令变成任务
在Robocopy加上“/save:任务名”可以将当前操作记录为任务文件,通过“/job:任务名”就可以方便调
用,不需要再输入一长串的命令了。此任务文件可以用纯文本编辑器(如记事本)来编辑。
★将复制备份过程录下来
默认情况下,Robocopy的操作过程只是在命令提示符中显示,我们可以让它把操作过程输出为TXT文件,

时间: 2024-10-11 03:02:00

运维技巧系列之rebocopy同步备份的相关文章

小型自动化运维--expect脚本之自动同步

小型自动化运维--expect脚本之自动同步 expect脚本可以运用于自动化运维多个方面,例如:可以自动到远程机器执行命令,也可以传输文件到远程机器上. 脚本如下: #!/usr/bin/expect set passwd "wtf" spawn rsync -av [email protected]:/tmp/shiyan.txt /tmp/ expect { "yes/no" { send "yes\r"} "password:&

PowerShell 运维菜鸟系列-02-批量取n台Windows KEY(2018年大年初一奉献)

系列博文: PowerShell 运维菜鸟系列-01-批量为n台服务器导入PFX证书(2017年除夕奉献) http://blog.51cto.com/dynamic/2071716 项目场景: 2017年,某客户忽然来电:"我们单位正在查正版,我想知道所有加域的Windows电脑的激活KEY分别是什么?". 详细需求: 1. 操作系统版本 Windows XP.Windows 7.Windows 10.Windows Server 2003.Windows Server 2008 R

Hadoop运维记录系列(二十四)

从这篇开始记录一下集群迁移的事情 早先因为机房没地方,就已经开始规划集群搬机房的事情,最近终于开始动手了,我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来. 集群规模说大不大,几百台,总容量30PB左右.Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本. 总的方案是集群不停机,在两个机房之间架设专线,旧机房decommission,拉到新机房recommission.每天不能下线太多机器,要保证计算. 新机房提前架设90台机器,测试带宽.带宽的测

轻松精通数据库管理之道——运维巡检系列

巡检是数据库管理员保证数据库健康的必要维护项,全面的巡检可以及早的发现问题.解决问题.预防问题. 很多数据库维护人员其实对数据库了解的并不深入(常常集中在传统行业),不是专业的DBA,同时又身兼多职(业务.软件.网络.硬件),在每天繁杂的工作中已经身心俱疲.这样的一种状态也必然让系统管理员即使有意精心呵护系统,但由于精力有限,不能深入学习,也找不到合适高效的方法去全面巡检自己的系统. 最终会导致什么样的结果的? 系统中存在大量的隐患,经常充当救火队员.拆弹兵的角色. 那么本系列用简单工具.易懂的

自动化运维Python系列(一)之基础篇

Python介绍 Python是由创始人吉多·范罗苏姆(Guido van Rossum)在1989年圣诞节假期期间,为了打发时间,构思出来的一个新的脚本解释器.由于Guido在开发Python语言过程中,借鉴了很多ABC语言特性,所有后来包括Guido自己也那么认为,Python语言的前身就是ABC语言. Python是一门面向对象的.动态解释型强定义语言:Python崇尚简洁.优美.清晰,是一门优秀的被广泛使用的语言. 在2015年以前,最流行的Python版本还是2.4,但是由于Pytho

Hadoop运维记录系列(十六)

应了一个国内某电信运营商集群恢复的事,集群故障很严重,做了HA的集群Namenode挂掉了.具体过程不详,但是从受害者的只言片语中大概回顾一下历史的片段. Active的namenode元数据硬盘满了,满了,满了...上来第一句话就如雷贯耳. 运维人员发现硬盘满了以后执行了对active namenode的元数据日志执行了 echo "" > edit_xxxx-xxxx...第二句话如五雷轰顶. 然后发现standby没法切换,切换也没用,因为standby的元数据和日志是5月

Hadoop运维记录系列(十四)

周末去了趟外地,受托给某省移动公司做了一下Hadoop集群故障分析和性能调优,把一些问题点记录下来. 该系统用于运营商的信令数据,大约每天1T多数据量,20台Hadoop服务器,赞叹一下运营商乃真土豪,256G内存,32核CPU,却挂了6块2T硬盘.还有10台左右的服务器是64G内存,32核CPU,4~6块硬盘,据用户反馈,跑数据很慢,而且会有失败,重跑一下就好了. 软件环境是RedHat 6.2,CDH Hadoop 4.2.1. 总容量260多TB,已使用200多T. 首先,这硬件配置属于倒

Windows 运维技巧

双网隔离技术,实现对企事业单位的内外网的信息安全防护. 视频会议系统分为:软件视频会议系统和硬件视频会议系统.软件视频会议系统是基于服务器+PC架构的视频通信系统,MCU(multi control unit). 视频会议组网模式:一种是IP组网方式,一种是E1专线组网方式 服务器安全防范策略: 关闭不需要的端口,先关闭所有,再打开所需.Netstat –na 关闭不必要的服务 删除默认共享 禁止远程枚举本地账户和共享 开启日志审核功能,定期查看日志文件    打开本地安全策略命令/ secpo

自动化运维Python系列之ForeignKey、relationship联表查询

一对多和多对多 数据库表结构设计是程序项目开发前的重要环节,后期数据库操作都是围绕着这个已经设计好的表结构进行,如果表结构设计有问题,整个程序项目就有存在需要整个推翻重构的风险... 数据库表结构除了简单的单表操作以外,还有一对多.多对多等. 一对多 基于SQLAlchemy我们可以先创建如下结构的2张表,然后来看看具体怎样通过外键ForeignKey或者relationship联表操作 创建表 from sqlalchemy.ext.declarative import declarative