将一个大文件分割成若干个小文件,每个文件最多10万行

public class Main {

    public static void main(String[] args) {

        BufferedReader br = null;
        BufferedWriter bw = null;

        int count = 0;
        int index = 1;
        String temp = "";

        try {
            br = new BufferedReader(new FileReader(new File("F:\\result.txt")));
            while((temp = br.readLine()) != null){
                bw = new BufferedWriter(new FileWriter(new File("F:\\output"+(index++)+".txt")));
                while(count < 100000){
                    bw.append(temp);
                    bw.newLine();
                    count++;
                    temp = br.readLine();
                    if(temp == null){
                        break;
                    }
                }
                count = 0;
                bw.close();
            }
            br.close();

        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

假设result.txt有200多万行。

时间: 2024-08-10 19:07:20

将一个大文件分割成若干个小文件,每个文件最多10万行的相关文章

java实现把一个大文件切割成N个固定大小的文件

//java实现把一个大文件切割成N个固定大小的文件 package com.johnny.test; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; public class FenGeFile { p

linux文件分割(将大的日志文件分割成小的)

linux下文件分割可以通过split命令来实现,可以指定按行数分割和安大小分割两种模式.Linux下文件合并可以通过cat命令来实现,非常简单. 在Linux下用split进行文件分割: 模式一:指定分割后文件行数 对与txt文本文件,可以通过指定分割后文件的行数来进行文件分割. 命令:split -l 300 large_file.txt new_file_prefix 模式二:指定分割后文件大小 split -b 10m server.log waynelog 对二进制文件我们同样也可以按

python实现:将文本文件分割成多个小文本文件(php也可实现)

前两天有个朋友说,想实现一个文本文件按照固定行数进行分割成多个文本文件,却不知如何实现.如果数据量小手动分割下就好了,如果数据量很大的话手动完成实在太耗费人力了,也不现实.那么就需要借助脚本去实现.既然有朋友想简单的完成这个任务,那么不如记录下来,给需要的朋友提供方便. 下面我就分别使用python和php进行脚本的实现和操作,当然用其他语言都能实现,大家可根据对语言的熟悉程度进行自主选择,如果有朋友还没有达到编写代码的能力的话,那么最起码对语言环境的使用要会,只要达到这些,就可以完成如下工作.

linux split 命令 将一个大的文件拆分成若干小文件

1. 以行数拆分 -l 参数: split –l 50 原始文件 拆分后文件名前缀 例:以50行对文件进行拆分 split -l 50 big.txt small_ 拆分后会生成 small_aa small_ab small_ac ... 2. 以大小拆分 -b 参数: 例:每个文件1M split –b 1024 big.txt small_

PHP读取csv文件转换成JSON并写入新的文件

没什么好说的,直接上代码. <?php function csvJSON() { // data.csv 是你的csv文件 $lines = array_map('str_getcsv', file('data.csv'));; $result = array(); $headers; if (count($lines) > 0) { $headers = $lines[0]; } for($i=1; $i<count($lines); $i++) { $obj = $lines[$i]

python csv文件转换成xml, 构建新xml文件

csv文件 code from xml.etree.ElementTree import Element,ElementTree,tostring import json,csv def csvtoxml(fname): with open(fname,'r') as f: reader=csv.reader(f) header=next(reader) root=Element('Daaa') print('root',len(root)) for row in reader: erow=El

文件的合并排序与文件分割

背景:一个文件内有多条数据记录,每条记录为一行,记录按时间字段升序排序. 需求1:将多个这样的文件合并成一个按时间排序的文件 需求2:将一个按数据记录时间字段排好序的大文件分割成几个小文件 代码: 1 import java.io.BufferedReader; 2 import java.io.BufferedWriter; 3 import java.io.File; 4 import java.io.FileInputStream; 5 import java.io.FileOutputS

【daily】文件分割限速下载,及合并分割文件

说明 主要功能: 1) 分割文件, 生成下载任务; 2) 定时任务: 检索需要下载的任务, 利用多线程下载并限制下载速度; 3) 定时任务: 检索可合并的文件, 把n个文件合并为完整的文件. GitHub: https://github.com/vergilyn/SpringBootDemo 代码结构: 一.获取远程资源ContentLength.FileName 本来以为很容易, 但如果想较好的得到contentLength.fileName其实很麻烦,主要要看download-url是怎么样

python学习——大文件分割与合并

在平常的生活中,我们会遇到下面这样的情况: 你下载了一个比较大型的游戏(假设有10G),现在想跟你的同学一起玩,你需要把这个游戏拷贝给他. 然后现在有一个问题是文件太大(我们不考虑你有移动硬盘什么的情况),假设现在只有一个2G或4G的优盘,该怎么办呢? 有很多方法,例如winrar压缩的时候分成很多小卷,这里不累述. 在学习python之后,我们自己就可以解决这个问题啦. 我们可以自己写一个脚本去分割合并文件,将文件分割成适合优盘大小的小文件,在拷贝,然后再合并. 下面是文件分割脚本: 1 im