分批读取文件中数据的程序流程及其C代码实现

一、概述

在实际的软件开发项目中,经常需要处理大量的文件。某些文件中包含了相当多的数据记录数,如作者本人参与过的项目中,一个文件中有好几十万条记录。如果一次性将多条记录读入,则会花费大量的处理时间,且占用大量的内存。

为此,要求对于包含大量数据记录的文件进行分批读取操作,即每一轮读取一定数目的数据记录,待将这些记录处理完成之后,再读取下一批数据。本文介绍分批读取文件中数据的程序流程,并给出了C程序实现。

二、总体程序流程

实现分批读取文件中数据的程序流程如图1所示。

图1 实现分批读取文件中数据的程序流程

三、C程序实现

本程序命名为BatchReadFile.c,具体代码如下:

/**********************************************************************
* 版权所有 (C)2015, Zhou Zhaoxiong。
*
* 文件名称:BatchReadFile.c
* 文件标识:无
* 内容摘要:分批读取文件中的数据并打印出来
* 其它说明:无
* 当前版本:V1.0
* 作    者:Zhou Zhaoxiong
* 完成日期:20150528
*
**********************************************************************/
#include <stdio.h>

// 重定义数据类型
typedef signed   int    INT32;
typedef unsigned int    UINT32;
typedef unsigned char   UINT8;

// 宏定义
#define ONCE_READ_COUNT    5      // 一次读取的最大数据条数
#define MAX_RECORD_LEN     50     // 每条数据的最大长度

// 函数声明
INT32 ReadRecordFromFile(FILE *fp, UINT8 szRecordSet[][MAX_RECORD_LEN], UINT32 *piReadCnt);
INT32 main();

/**********************************************************************
* 功能描述:主函数
* 输入参数:无
* 输出参数:无
* 返 回 值:无
* 其它说明:无
* 修改日期        版本号         修改人           修改内容
* -------------------------------------------------------------------
* 20150528        V1.0     Zhou Zhaoxiong        创建
***********************************************************************/
INT32 main()
{
    UINT8  szFileName[256] = {0};     // 包含完整路径的文件名
    FILE  *fp              = NULL;    // 文件句柄
    UINT32 iReadCnt        = 0;       // 一次读取到的记录数
    UINT32 iRecCnt         = 0;       // 记录数, 循环变量
    UINT32 iReadTimes      = 0;       // 读取文件次数
    INT32  iRetVal         = 0;       // 读取文件函数的返回值

    UINT8  szRecordSet[ONCE_READ_COUNT][MAX_RECORD_LEN] = {0};   // 存放从文件中读取到的记录内容集
    UINT8  szRecordInfo[MAX_RECORD_LEN]                 = {0};   // 存放从文件中读取到的每条记录内容

    // 获取包含完整路径的文件名
    strcpy(szFileName, "/home/zxin10/zhouzx/test/file/TestFile.txt");

    // 打开文件
    fp = fopen(szFileName, "r");
    if (NULL == fp)   // 打开失败
    {
        printf("Open file %s failed!\n", szFileName);
        return -1;
    }

    // 读取文件内容并打印出来
    while (1)
    {
        iReadCnt = 0;
        memset(szRecordSet, 0x00, sizeof(szRecordSet));  

        iRetVal = ReadRecordFromFile(fp, szRecordSet, &iReadCnt);
        if (iRetVal == -1)   // 表示函数执行失败, 直接退出
        {
            printf("Exec ReadRecordFromFile failed, please check!\n");
            break;
        }

        if (iReadCnt > 0)
        {
            iReadTimes ++;     // 读取次数加1
            printf("ReadTimes is: %d, the RecordInfo is:\n", iReadTimes);
        }

        for (iRecCnt = 0; iRecCnt < iReadCnt; iRecCnt ++)   // 打印读取到的记录值
        {
            memset(szRecordInfo, 0x00, sizeof(szRecordInfo));
            strncpy(szRecordInfo, szRecordSet[iRecCnt], sizeof(szRecordInfo)-1);

            printf("%s\n", szRecordInfo);
        }

        if (iRetVal == 0)   // 表示文件记录已扫描完, 直接退出
        {
            break;
        }
    }

    return 0;
}

/**********************************************************************
* 功能描述:从文件中读取记录内容
* 输入参数:fp-文件指针
* 输出参数:szRecordSet-记录内容信息集
            piReadCnt-读取到的条数
* 返 回 值:1-下一轮继续读取  0-本轮已读取完毕  -1-读取失败
* 其它说明:无
* 修改日期        版本号         修改人           修改内容
* -------------------------------------------------------------------
* 20150528        V1.0     Zhou Zhaoxiong        创建
***********************************************************************/
INT32 ReadRecordFromFile(FILE *fp, UINT8 szRecordSet[][MAX_RECORD_LEN], UINT32 *piReadCnt)
{
    UINT8  szRecordInfo[MAX_RECORD_LEN] = {0};    // 存储读取到的每条记录信息
    UINT32 iRecordLen                   = 0;      // 存储读取到的每条记录信息的长度

    if (fp == NULL || piReadCnt == NULL)
    {
        printf("ReadRecordFromFile: input paramter(s) is NULL!\n");
        return -1;
    }

    // 读取文件记录
    while ((!feof(fp)) && (!ferror(fp)))   // 遇到文件结尾或读取错误则退出
    {
        // 读取一条记录
        memset(szRecordInfo, 0x00, sizeof(szRecordInfo));
        fgets(szRecordInfo, sizeof(szRecordInfo)-1, fp);

        // 去掉记录后面的回车换行符
        iRecordLen = strlen(szRecordInfo);
        while (iRecordLen > 0)
        {
            if (szRecordInfo[iRecordLen-1] == ‘\n‘ || szRecordInfo[iRecordLen-1] == ‘\r‘)
            {
                szRecordInfo[iRecordLen-1] = ‘\0‘;
            }
            else
            {
                break;
            }

            iRecordLen --;
        }

        // 判断是否为空行, 是则继续读取
        if (strlen(szRecordInfo) == 0)
        {
            continue;
        }

        // 将记录信息拷贝到输出缓存中
        strncpy(szRecordSet[(*piReadCnt)++], szRecordInfo, MAX_RECORD_LEN-1);

        // 如果超出最大条数限制, 则直接返回
        if ((*piReadCnt) >= ONCE_READ_COUNT)
        {
            return 1;
        }
    }

    return 0;
}

四、程序说明

1.被读取的文件命名为“TestFile.txt”,存放在“/home/zhou/zhouzx/test/file/”目录下。

2.为了方便看到效果,程序中设定每一次最大读取条数为5,每条记录的最大长度为50(最大长度值的设定的依据是读取的文件记录的长度)。将读取到的记录存放到一个二维数组变量中,其中第一维是每次读取到的记录条数,第二维是每条记录的长度。

3.如果一轮未读完数据,则文件指针会自动跳到下一次读取的记录的开头。结束一轮读取的条件有三个:已达读取上限、记录已全部读完、读取错误。

4.如果文件中出现了空行,那么程序并不会将之作为有效行而使得读取条数增加,而是从下一个非空行开始继续计数。

5.程序会打印出读取的次数及每次读取到的具体记录信息,方便查看程序分批处理的执行情况。

五、程序编译及运行结果

在Linux下,使用“gcc -g -o BatchReadFile BatchReadFile.c”命令对程序进行编译,生成“BatchReadFile”。下面执行“BatchReadFile”命令来对程序进行测试。

1.“TestFile.txt”文件中的内容如下:

100001
100002
100003
100004

则程序运行结果为:

ReadTimes is: 1, the RecordInfo is:
100001
100002
100003
100004

2.“TestFile.txt”文件中的内容如下:

100001
100002
100003
100004
100005

则程序运行结果为:

ReadTimes is: 1, the RecordInfo is:
100001
100002
100003
100004
100005

3.“TestFile.txt”文件中的内容如下:

100001
100002
100003
100004
100005
100006

则程序运行结果为:

ReadTimes is: 1, the RecordInfo is:
100001
100002
100003
100004
100005
ReadTimes is: 2, the RecordInfo is:
100006

4.“TestFile.txt”文件中的内容如下:

100001
100002
100003
100004
100005
100006
100007

100008
100009

100010

100011

则程序运行结果为:

ReadTimes is: 1, the RecordInfo is:
100001
100002
100003
100004
100005
ReadTimes is: 2, the RecordInfo is:
100006
100007
100008
100009
100010
ReadTimes is: 3, the RecordInfo is:
100011

可见,即使文件中存在空行,程序也能够正常处理。

六、总结

本文对分批读取文件中数据的程序流程进行了介绍,并给出了C程序实现。在实际的软件开发项目中,每个文件包含的记录条数要多很多,但基本的程序编写流程是一样的。大家可以根据实际需要对本文中的程序进行修改来满足具体的要求。



本人微信公众号:zhouzxi,请扫描以下二维码:

时间: 2024-10-13 21:24:49

分批读取文件中数据的程序流程及其C代码实现的相关文章

读取文件中的数据(以结构体存放)

/* *读取文件中的数据(数据以结构体存放) */ #include<iostream> #include <fstream> //#define Field 31 //field_anal number #define Field 15 //field_post number using namespace std; //the level restore certain level data //level_z show the level struct Level { int

python 设置文件中数据的读取精度

在使用的是pandas读取文件内的数据时,通常会默认保持7精度左右的数据(具体有多少进度没有在意) 而有时候我们需要精度比较高的数据,在这里就需要进行处理了, 一般需要在使用pandas读取文件的那一行之后,添加一行代码: 1 with pd.option_context('display.precision', 12) 就行了,完整例子如下 point = pd.read_csv('point.csv') with pd.option_context('display.precision',

Linux下按照时间和大小生成新文件的程序流程及其C代码实现

一.概述 在实际的软件开发项目中,会出现按照时间和大小生成新文件的需求.例如,某软件需求的描述如下: 按照如下两个条件之一生成新的文件: 第一,新的一天到来. 第二,文件的大小超过阈值. 本文详细介绍了根据时间和大小生成新文件的程序流程,并给出了C程序实现. 二.算法设计 对于这个按照不同的条件生成新文件的需求,在编写代码之前,我们要认真考虑以下问题: 1.如何知道当前写文件的时间与上次时间相比,是新的一天? 对于这个问题,最简单的做法是将上次写完文件之后的时间保存在内存中,等下次写文件之前读取

Linux下合并前缀相同的文件的程序流程及其C代码实现

一.概述 在实际的软件开发项目中,会出现对多个前缀(或后缀)相同的文件进行合并的需求.也就是说,将这些前缀(或后缀)相同的文件中的内容合并到一个文件中.这些文件的来源可能是前一流程中程序生成的文件,也可能是其他模块生成的文件. 例如,我们要将前缀相同(以"Test_"作为前缀)的Test_1.txt和Test_2.txt文件中的内容合并到ResultFile.txt文件中,如果Test_1.txt文件中的内容为: AAAAA Test_2.txt文件中的内容为: BBBBB 那么Res

IO流的练习5 —— 读取文件中的字符串,排序后写入另一文件中

需求:已知s.txt文件中有这样的一个字符串:“hcexfgijkamdnoqrzstuvwybpl” 请编写程序读取数据内容,把数据排序后写入ss.txt中. 分析: A:读取文件中的数据 B:把数据存在一个字符串中 C:把字符串转换成字符串数组 D:对字符串数组进行排序 E:数组转换成字符串 F:把字符串写入文件中 1 public static void main(String[] args) throws IOException { 2 // 读取文件中的数据 缓冲字符输入流 3 Buf

Java读写Excel文件中数据的简便方法

Java开发项目中经常会碰到处理Excel文件中数据的情况,这里通过一个例子来看一下实现方法:从Excel文件orders.xls中读取订单信息,从中找出2010年1月1日(含)之后,并且SELLERID等于18的订单.找到的数据写入order_result.xls文件. Excel文件orders.xls的内容如下: ORDERID CLIENT SELLERID AMOUNT ORDERDATE 1 UJRNP 17 392 2008/11/2 15:28 2 SJCH 6 4802 200

python操作txt文件中数据教程[1]-使用python读写txt文件

python操作txt文件中数据教程[1]-使用python读写txt文件 觉得有用的话,欢迎一起讨论相互学习~Follow Me 原始txt文件 程序实现后结果 程序实现 filename = './test/test.txt' contents = [] DNA_sequence = [] # 打开文本并将所有内容存入contents中 with open(filename, 'r') as f: for line in f.readlines(): contents.append(line

利用PushbackReader读取文件中某个字符串之前的内容

package File; import java.io.FileReader; import java.io.IOException; import java.io.PushbackReader; /*读取文件中某个字符串之前的文件*/ //PushbackInputStream,PushbackReader应用 public class PushbackTest { public static void main(String[] args) { try(PushbackReader pr

HBase-scan API 通过scan读取表中数据

直接贴代码啦 /** * * @param zkIp * @param zkPort * @param tablename * @param startRow 传null扫全表 * @param stopRow 已~结尾 * @throws Exception */ public static void scanTable(String zkIp,String zkPort,String tablename,String startRow,String stopRow) throws Excep