java大文件的分割和合并

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FilenameFilter;
import java.io.SequenceInputStream;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Enumeration;
import java.util.List;
import java.util.Properties;

/**
 * SplitFile.java
 * @author:<a href="mailto:[email protected]">bylv</a>
 * @DATE:2015-9-7  上午09:27:43
 *  Copyright (C) 2011 ISoftStone
 */

/**
 * 功能说明:
 * 
 * @author: <a href="mailto:[email protected]">bylv</a>
 * @DATE:2015-9-7 @TIME: 上午09:27:43
 */
public class SplitFile {

	private static final int SIZE = 1024 * 1024;// 定义单个文件的大小这里采用1m

	/**
	 * 功能说明:
	 * 
	 * @param args
	 * @author: <a href="mailto:[email protected]">bylv</a>
	 * @throws Exception
	 * @DATE:2015-9-7 @TIME: 上午09:27:44
	 */
	public static void main(String[] args) throws Exception {
		// 拆分
		// File file = new File("D:/无标题.bmp");
		// splitFile(file);
		// 合并
		File file = new File("C:/parfiles");
		mergeFile(file);
	}

	/**
	 * 功能说明:合并文件
	 * 
	 * @param file
	 * @author: <a href="mailto:[email protected]">bylv</a>
	 * @throws Exception
	 * @throws FileNotFoundException
	 * @DATE:2015-9-7 @TIME: 上午09:47:31
	 */
	private static void mergeFile(File dir) throws Exception {
		// 读取properties文件的拆分信息
		File[] files = dir.listFiles(new FilenameFilter() {
			@Override
			public boolean accept(File dir, String name) {
				return name.endsWith(".properties");
			}
		});
		File file = files[0];
		// 获取该文件的信息
		Properties pro = new Properties();
		FileInputStream fis = new FileInputStream(file);
		pro.load(fis);
		String fileName = pro.getProperty("fileName");
		int splitCount = Integer.valueOf(pro.getProperty("partCount"));
		if (files.length != 1) {
			throw new Exception(dir + ",该目录下没有解析的properties文件或不唯一");
		}

		// 获取该目录下所有的碎片文件
		File[] partFiles = dir.listFiles(new FilenameFilter() {
			@Override
			public boolean accept(File dir, String name) {
				return name.endsWith(".part");
			}
		});
		// 将碎片文件存入到集合中
		List<FileInputStream> al = new ArrayList<FileInputStream>();
		for (int i = 0; i < splitCount; i++) {
			try {
				al.add(new FileInputStream(partFiles[i]));
			} catch (Exception e) {
				// 异常
				e.printStackTrace();
			}
		}
		try {
			// 构建文件流集合
			Enumeration<FileInputStream> en = Collections.enumeration(al);
			// 将多个流合成序列流
			SequenceInputStream sis = new SequenceInputStream(en);
			FileOutputStream fos = new FileOutputStream(new File(dir, fileName));
			byte[] b = new byte[1024];
			int len = 0;
			while ((len = sis.read(b)) != -1) {
				fos.write(b, 0, len);
			}
			fos.close();
			sis.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	/**
	 * 功能说明:拆分文件
	 * 
	 * @param file
	 * @author: <a href="mailto:[email protected]">bylv</a>
	 * @DATE:2015-9-7 @TIME: 上午09:28:58
	 */
	private static void splitFile(File file) {
		try {
			FileInputStream fs = new FileInputStream(file);
			// 定义缓冲区
			byte[] b = new byte[SIZE];
			FileOutputStream fo = null;
			int len = 0;
			int count = 0;

			/**
			 * 切割文件时,记录 切割文件的名称和切割的子文件个数以方便合并
			 * 这个信息为了简单描述,使用键值对的方式,用到了properties对象
			 */
			Properties pro = new Properties();
			// 定义输出的文件夹路径
			File dir = new File("C:/parfiles");
			// 判断文件夹是否存在,不存在则创建
			if (!dir.exists()) {
				dir.mkdirs();
			}
			// 切割文件
			while ((len = fs.read(b)) != -1) {
				fo = new FileOutputStream(new File(dir, (count++) + ".part"));
				fo.write(b, 0, len);
				fo.close();
			}
			// 将被切割的文件信息保存到properties中
			pro.setProperty("partCount", count + "");
			pro.setProperty("fileName", file.getName());
			fo = new FileOutputStream(new File(dir, (count++) + ".properties"));
			// 写入properties文件
			pro.store(fo, "save file info");
			fo.close();
			fs.close();
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

}
时间: 2024-10-07 01:37:21

java大文件的分割和合并的相关文章

java实现文件的分割与合并

无非就是io流------------------------------------------------------- 实例类: 1.抽象类 import java.io.File; import java.io.IOException; public abstract class PartitionFile { /** * 单个文件设置的字节数 */ public static long MAX_BYTE = 1024*1024*1000; /** * 获取可以分割的文件数 * * @p

对大文件实现分割及合并处理

1 public void cutFile(File bigFile,File destFile,int cutSize){ 2 3 FileInputStream inputStream = null; 4 int size = 1024*1024; //1M 5 try { 6 if (!destFile.isDirectory()){ //如果保存分割文件的地址不是路径 7 destFile.mkdir(); //创建路径 8 } 9 size = size * cutSize; //分割

Linux 大文件的分割与合并

1.分割 -- split命令 可以指定按行数分割和按字节大小分割两种模式. (1) 按行数分割 $ split -l 300 large_file.txt new_file_prefix 加上-d,使用数字后缀:加上--verbose,显示分割进度: $ split -l50000 -d large_file.txt part_ --verbose (2) 按字节大小分割 $ split -b 10m large_file.log new_file_prefix 2.合并 -- cat命令 $

Java-使用IO流对大文件进行分割和分割后的合并

有的时候我们想要操作的文件很大,比如:我们想要上传一个大文件,但是收到上传文件大小的限制,无法上传,这是我们可以将一个大的文件分割成若干个小文件进行操作,然后再把小文件还原成源文件.分割后的每个小文件的类型可以自己定义. 一下是我编写的一个大文件的分割和合并的代码: package com.lym; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; impor

java 流操作对文件的分割和合并的实例详解_java - JAVA

文章来源:嗨学网 敏而好学论坛www.piaodoo.com 欢迎大家相互学习 java 流操作对文件的分割和合并的实例详解 学习文件的输入输出流,自己做一个小的示例,对文件进行分割和合并. 下面是代码: package com.dufy.file; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import jav

黑马程序员 IO流 文件的分割与合并

---------------------- ASP.Net+Unity开发..Net培训.期待与您交流! ----------------------package cn.itcast.IO; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException;

C#文件的分割与合并

//--------------------文件,分割与合并---------------------------------------- using System.IO /// <summary> /// 单个文件分割函数, /// 可将任意文件fileIn分割为若干个子文件, 单个子文件最大为 len KB /// delet标识文件分割完成后是否删除原文件, change为加密密匙 /// fileIn = "D:\\file.rar", 子文件名形如"D

java大文件分片上传插件

我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用. 这次项目的需求: 支持大文件的上传和续传,要求续传支持所有浏览器,包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全浏览器,并且刷新浏览器后仍然能够续传,重启浏览器(关闭浏览器后再打开)仍然能够继续上传,重启电脑后仍然能够上传 支持文件夹的上传,要求服务端能够保留层级结构,并且能够续传.需要支持10万个以上的文件夹上传. 支持低版本的系统和浏览器,因为这个项目

java大文件读写操作,java nio 之MappedByteBuffer,高效文件/内存映射

java处理大文件,一般用BufferedReader,BufferedInputStream这类带缓冲的Io类,不过如果文件超大的话,更快的方式是采用MappedByteBuffer. MappedByteBuffer是java nio引入的文件内存映射方案,读写性能极高.NIO最主要的就是实现了对异步操作的支持.其中一种通过把一个套接字通道(SocketChannel)注册到一个选择器(Selector)中,不时调用后者的选择(select)方法就能返回满足的选择键(SelectionKey