Java NIO FileVisitor 高效删除文件

在公司项目中，由于做个二维码扫码平台项目，预计每天产生的二维码图片达到十几G，所以要做个定时清理任务来定时清理图片，根据不同场景保留图片，规则是：1、二维码统一登录图片几个小时有效   2、电子名片二维码前几天有效，这些参数都是可配置的。

刚开始时，直接用Io 文件操作，递归删除文件，根据场景判断删除逻辑。但是，压力测试后发现，删除十几G文件要20分钟，直接测试不过。原因分析：在所有的5级目录下，要遍历匹配条件的文件，将不符合文件的删除，删除又用了递归，所有一下有三层循环，这样直接遍历数据太大，性能直接下降，后来在网上看到NIO 里面有种快速遍历的方法，就是FileVisitor ，于是，自己看了下这个接口的API ，最后自己写了下，在过程中，遇到不少的坑。

首先，了解下FileVisitor 里面有四个方法，代表的分别是访问文件的四个状态：访问目录前，访问目录时，访问文件时，访问文件失败后，这是个方法分别可以返回：CONTINUE 继续、SKIP_SIBLINGS：继续遍历，但忽略当前节点的所有兄弟节点直接返回上一层继续遍历、SKIP_SUBTREE：继续遍历，但是忽略子目录，但是子文件还是会访问；TERMINATE：终止遍历。

运行机制：首先根据文件目录来判断走哪个文件目录，首先程序跑到preVisitDirectory 这个方法里面，根据自己设计的逻辑走到不同的路径中，在这里你可以自己设置走到当前的目录时，不走下一级目录，直接忽略子目录，或者终止遍历，该方法主要是判断遍历那个文件目录。然后程序走完这个方法时，再跑到这个方法：postVisitDirectory 这个主要是遍历当前文件目录当遍历到文件时，就跑到VisitFile 里面去，VisitFile 主要是拿到当前文件目录下的文件，然后删除该文件，删除完了，postVisitDirectory  将改文件目录删除。然后依次如此......

定义一个类，继承FileVIsitor 这个接口，下面的主要是继承这个接口然后重写四个方法

@Override
public FileVisitResult preVisitDirectory(Object dir,
BasicFileAttributes attrs) throws IOException {
// TODO Auto-generated method stub
return null;
}

@Override
public FileVisitResult visitFile(Object file, BasicFileAttributes attrs)
throws IOException {
// TODO Auto-generated method stub
return null;
}

@Override
public FileVisitResult visitFileFailed(Object file, IOException exc)
throws IOException {
// TODO Auto-generated method stub
return null;
}

@Override
public FileVisitResult postVisitDirectory(Object dir, IOException exc)
throws IOException {
// TODO Auto-generated method stub
return null;
}

删除文件的具体实现，这个是本地测试的Demo 版 ps：代码写得有点乱,来不及整理。

package com.tony.test;

import java.io.File;
import java.io.IOException;
import java.nio.file.FileVisitOption;
import java.nio.file.FileVisitResult;
import java.nio.file.FileVisitor;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.attribute.BasicFileAttributes;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.EnumSet;

public class DeleteFile implements FileVisitor {

private static DeleteFile deletefileInstace;
public static DeleteFile getInstance() {
if (deletefileInstace == null) {
synchronized (DeleteFile.class) {
if (deletefileInstace == null) {
deletefileInstace = new DeleteFile();
}
}
}
return deletefileInstace;
}
@Override
public FileVisitResult preVisitDirectory(Object dir,
BasicFileAttributes attrs) throws IOException {
String f=dir.toString();
if(!deleteByDaysOuttime(0,(Path)dir))
{
System.out.println("preVisitDirectory f:按天删除跳进来了"+f);
return FileVisitResult.SKIP_SUBTREE;
}
else if(!deleteByHoursOuttime(3, (Path)dir)) //按小时删除
{
System.out.println("preVisitDirectory f:按小时删除跳进来了"+f);
return FileVisitResult.SKIP_SUBTREE;
}
return FileVisitResult.CONTINUE;
}

@Override
public FileVisitResult visitFile(Object file, BasicFileAttributes attrs)
throws IOException {
boolean success = deleteFileByFile((Path) file);

return FileVisitResult.CONTINUE;
}

@Override
public FileVisitResult visitFileFailed(Object file, IOException exc)
throws IOException {
return FileVisitResult.CONTINUE;
}

@Override
public FileVisitResult postVisitDirectory(Object file, IOException exc)
throws IOException {
boolean success=false;
/*System.out.println("postVisitDirectory 你在哪 F"+file.toString());*/
if (exc == null) {
/*File.separator*/
String f=file.toString();
Path path=(Path)file;
StringBuilder stringBuilder=new StringBuilder();
stringBuilder.append("E:").append(File.separator)
.append("home").append(File.separator).append("qr").append(File.separator)
.append("1");
System.out.println("File path"+stringBuilder.toString());
//按天删除
if(deleteByDaysOuttime(0,(Path)file)&&!f.equals(stringBuilder.toString()))
{
System.out.println("Path Count : "+path.getNameCount());
System.out.println("postVisitDirectory 老子跳进坑了 F"+file.toString());
success = deleteFileByFile((Path) file);

if (success) {
System.out.println("dir Deleted: " + (Path) file);
} else {
System.out.println("dir Not deleted: " + (Path) file);
}
}else if(deleteByHoursOuttime(2,(Path)file)&&!f.equals("E:\\home\\qr\\1\\20171209\\"))//按小时的1场景删除
{
success = deleteFileByFile((Path) file);

if (success) {
System.out.println("dir Deleted: " + (Path) file);
} else {
System.out.println("dir Not deleted: " + (Path) file);
}
}
} else {
throw exc;
}
return FileVisitResult.CONTINUE;
}

private boolean deleteFileByFile(Path file){
boolean flag=false;
try {
flag= Files.deleteIfExists(file);
} catch (Exception e) {
// TODO: handle exception
}
return flag;

}

/**
*
* 按天数来删除,刪除days 之前的文件夹
*
* @param days
*/
private boolean deleteByDaysOuttime(int days, Path file) {
boolean flag = true;
String rootPathString="E:\\home\\qr\\2\\";
for(int i=0;i<=days;i++){
String getFileNameByDays=getDays(i);
if (file.toString().equals(rootPathString+getFileNameByDays)) { //不删除
flag = false;
System.out.println("不要删掉的文件目录："+file);
}
}
return flag;
}

private boolean deleteByHoursOuttime(int hours, Path file) {
boolean flag = true;
String rootPathString="E:\\home\\qr\\1\\20171209\\";
for(int i=0;i<=hours;i++){
String getFileNameByHours=getHours(i);
/*System.out.println("当前遍历的文件："+file.getFileName());
System.out.println("自己算出的文件名"+getFileNameByHours);*/
if (file.toString().equals(rootPathString+getFileNameByHours)) { //不删除
flag = false;
}
}
return flag;
}

/**
* 获取当前时间的前几天时间
* @param days
* @return 返回yyyyMMdd时间格式的文件名
*/
private String getDays(int days) {
Calendar calendar=Calendar.getInstance();
calendar.add(Calendar.DAY_OF_MONTH, -days);
SimpleDateFormat sFormat=new SimpleDateFormat("yyyyMMdd");
return sFormat.format(calendar.getTime());
}

/**
* 获取当前时间的前几小时时间
* @param days
* @return 返回yyyyMMdd时间格式的文件名
*/
private String getHours(int hours) {
Calendar calendar=Calendar.getInstance();
calendar.add(Calendar.HOUR, -hours);
SimpleDateFormat sFormat=new SimpleDateFormat("HH");
return sFormat.format(calendar.getTime());
}

public static void main(String[] args) {
/*System.out.println(deletefileInstace.getInstance().getDays(1));*/

System.out.println("按小时删除");
long start = System.currentTimeMillis();
int scence=1;
Path directory=null;
deletefileInstace=deletefileInstace.getInstance();
StringBuilder sbBuilder=new StringBuilder();
//场景1
////删除今天以为的文件夹
if(scence>0)
{
sbBuilder.append("E:\\home\\qr\\1").append(File.separator).append(getInstance().getDays(0));
directory = Paths.get(sbBuilder.toString());
System.out.println(sbBuilder.toString());
EnumSet opts1 = EnumSet.of(FileVisitOption.FOLLOW_LINKS);
try {
Files.walkFileTree(directory, opts1, Integer.MAX_VALUE, deletefileInstace);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}

}else if(scence>0)
{
sbBuilder=new StringBuilder();
sbBuilder.append("E:\\home\\qr\\2");
directory = Paths.get(sbBuilder.toString());
EnumSet opts3 = EnumSet.of(FileVisitOption.FOLLOW_LINKS);
try {
Files.walkFileTree(directory, opts3, Integer.MAX_VALUE, deletefileInstace);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}

System.out.println(System.currentTimeMillis() - start);

}
}

时间： 2024-08-05 06:49:11

Java NIO FileVisitor 高效删除文件的相关文章

java/android开发中删除文件

在java或者android开发中经常遇到要删除一个文件夹及其子文件的需求,本文主要总结了自己开发中遇到并且使用过的两种删除文件和文件夹的方法. 1.如果仅仅是删除一个文件可以使用以下代码,传入文件路径即可 public static void deleteFile(String path) { File file = new File(path); file.delete(); } 2.如果需要删除一个非空文件夹,则需要遍历整个文件夹下子文件,进行递归删除 public static void

java IO流实现删除文件夹以及文件夹中的内容

这篇主要是对IO文件流对文件常用处理中的删除文件夹,平时我们直接删除文件夹既可以删除里面的全部内容. 但是java在实现删除时,只能是文件才会被删除. 所以这里需要定义一个方法,来递归调用方法(递归调用,就是在方法的内部调用自己),实现文件夹里面的全部文件删除 注意:做这个测试的时候,一定要备份,如果删除成功就不会回复了 结果如下:

Java NIO 利用通道完成文件复制（MappedByteBuffer）

相关学习网址: import java.io.IOException;import java.nio.MappedByteBuffer;import java.nio.channels.FileChannel;import java.nio.channels.FileChannel.MapMode;import java.nio.file.Paths;import java.nio.file.StandardOpenOption; import org.junit.Test; @Testpubl

java nio读取和写入文件

读取 package com.test; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.nio.ByteBuffer; import java.nio.channels.FileChannel; import java.text.MessageFormat; public class Test

java nio通过ByteBuffer输出文件信息

1.通过ByteBuffer的get()方法每次读取一个字节转换成char类型输出. fc = new FileInputStream("src/demo20/data.txt").getChannel(); ByteBuffer buff = ByteBuffer.allocate(BSIZE); buff = ByteBuffer.allocateDirect(BSIZE); fc.read(buff); buff.flip(); while (buff.hasRemaining(

java nio 快速read大文件

If you want to make your first example faster FileChannel inChannel = new FileInputStream(fileName).getChannel(); ByteBuffer buffer = ByteBuffer.allocateDirect(CAPACITY); while(inChannel.read(buffer) > 0) buffer.clear(); // do something with the data

Java NIO 应用 -- 使用内存映射文件实现进程间通信

一看到 Java NIO 的内存映射文件(MappedByteBuffer),让我立即就联想到 Windows 系统的内存映射文件.Windows 系统的内存映射文件能用来在多个进程间共享数据,即进程间的共享内存,是通过把同一块内存区域映射到不同进程的地址空间中,从而达到共享内存. Java NIO 的内存映射文件和 Windows 系统下的一样,都能把物理文件的内容映射到内存中,那么 MappedByteBuffer 是否能用来在不同 Java 进程(JVM) 间共享数据呢?答案是肯定的,这样

删除文件或目录

1 package io.FileOp; 2 import java.io.*; 3 /** 4 * 删除文件或者删除目录 5 * @author www.tfgzs.net 6 */ 7 public class Delete { 8 9 public static void main(String[] args) { 10 String pathString="E:/360Downloads/123456.txt"; //文件路径 11 12 if (delete(pathStri

Java NIO 进程间通信

转自:http://blog.csdn.net/lingzhm/article/details/45026119 传统的进程间通信的方式有大致如下几种: (1)   管道(PIPE) (2)   命名管道(FIFO) (3)   信号量(Semphore) (4)   消息队列(MessageQueue) (5)   共享内存(SharedMemory) (6)   Socket Java如何支持进程间通信.我们把Java进程理解为JVM进程.很明显,传统的这些大部分技术是无法被我们的应用程序利