linux 删除大目录的方法

由于目录下全是琐碎的小文件而且目录结构具深，使用rm -rf /backup ,速度是每秒钟40-60M,我去，10T的数据得删多长时间啊！

网上找资料，可以通过rsync来实现，

mkdir /tmp/null

rsync --delete-before -a -H -v --progress --stats /tmp/null/ /backup/photos/
测试了删除速度，刚开始时候每秒钟252M，后来速度增长了些，还是不能满足我的小小的欲望。
将-v --progress 去掉，刚开始302M,后来速度达到最高时候达到了每秒钟1560M ！！
rsync --delete-before -a -H --stats /tmp/null/ /backup/photos/
呵呵就是它了!!
时间： 2024-12-15 23:59:55

linux 删除大目录的方法的相关文章

linux 删除大目录方法

由于目录下全是琐碎的小文件而且目录结构具深,使用rm -rf /backup ,速度是每秒钟40-60M,我去,10T的数据得删多长时间啊! 网上找资料,可以通过rsync来实现, mkdir /tmp/null rsync --delete-before -a -H -v --progress --stats /tmp/null/ /backup/photos/ 测试了删除速度,刚开始时候每秒钟252M,后来速度增长了些,还是不能满足我的小小的欲望. 将-v --progress 去掉,刚开始

linux删除大文件后空间没释放的问题

问题描述: 磁盘100%,删除大文件后,df -h发现磁盘空间未释放 解决办法: 该问题是因为在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用. #lsof  |grep deleted #kill xxx     删除占用文件的进程 #df -h     再次查看磁盘空间

23 遍历删除本地目录的方法，文件末尾追加内容，按行读取文件内容

1.遍历删除本地目录 /** * 递归删除非空目录 * @param file */ public static void deletNotEmptyDir(File file){ File[] files = file.listFiles(); if (files != null) { for (File f : files) { deletNotEmptyDir(f); } } file.delete(); } 2.文件末尾追加内容 /** * 在文件末尾追加字符串 * @param fil

Git 删除大文件的方法

有些时候不小心上传了一些敏感文件(例如密码), 或者不想上传的文件(没及时或忘了加到.gitignore里的), 而且上传的文件又特别大的时候, 这将导致别人clone你的代码或下载zip包的时候也必须更新或下载这些无用的文件, 因此, 我们需要一个方法, 永久的删除这些文件(包括该文件的历史记录). 首先, 可以参考 github 的帮助: https://help.github.com/articles/remove-sensitive-data 步骤一: 从你的资料库中清除文件 以Wind

linux 删除svn目录

linux下删除所有.svn目录方法为 find . -type d -name ".svn"|xargs rm -rf or  find . -type d -iname ".svn" -exec rm -rf {} \;

Linux删除大文件，df查看空间没变

文件已删除,但是空间没有释放 可能是因为文件被进程锁定,或有进程一直在向这个文件写数据 直接用 lsof 查看锁定文件的进程 如果有一个进程在打开一个大文件的时候,这个大文件被rm/mv后, du会更新统计数据 df不会更新,还是认为空间未释放,直到这个进程被kill du可以查看文件和文件夹大小 df可以查看一级文件夹大小.使用比例.挂入点.档案系统等,不能看文件,可以看磁盘整体情况 df -h

Linux删除大文件进程还在导致磁盘空间占用100%问题处理

1. 问题描述 上午收到鹰网监控,某台应用机器的磁盘利用率达到100%,通过df和du等命令查看占用的磁盘空间并没有达到分配的逻辑卷挂载路径的最大值 2. 问题分析 最近公司那边开发了代码发布平台,在进行代码更新时,先删除日志缓存文件,在进行进程停止导致的 3. 问题处理 使用lsof |grep deleted命令查看已经标记为已经删除的文件 注:这个deleted表示该已经删除了的文件,但是文件句柄未释放,这个命令会把所有的未释放文件句柄的进程列出来 使用kill命令进行杀进程操作,但是该操

linux删除同目录及子目录下统一扩展名的文件

find . -name '*.csv' -type f -print -exec rm -rf {} \; 利用find去查找文件,点是指当前目录下,引号中是相应的数据的名称,自己可以定义,然后用type指明是f,文件类型,-print是打印出来,刚才我自己执行是到这一步先打印了一下,然后稍微观察了一下自己将要删除的内容是否与预期相同,然后用一个-exec说明我接下来是要执行命令的,rm -rf 是删除命令,后面的大括号和分号还有反斜杠我也还不是很清楚.. 原文地址:https://www.c

快速删除node_modules目录的方法

方法一 1)cnpm install rimraf -g 2)rimraf node_modules 方法二 1)rmdir /s/q your_app_dir 方法三 1)rm -f /node_modules 方法四 1)cnpm install -g dlf 2)dlf  C:\Users\92809\Desktop\12 原文地址:https://www.cnblogs.com/yujian90/p/12117917.html