1 需求场景

考虑如下需求场景：

终端按固定时间间隔(单位为分钟)生成诊断日志(格式为UserName-Status-yyyy-mm-dd-hh-mm.log)，并上传至服务器。若终端与服务器的传输通道中断，则终端本地暂存最新的N个日志文件，即第(N+1)个周期生成的新日志将覆盖第1个周期的旧日志，以此类推。待传输恢复后，终端一次性上传该N个日志。

本文主要讨论该需求中“最新日志覆盖最旧日志”的功能点。为突出层次，文中“覆盖”用先删除旧日志后创建新日志实现。实际中先删后建和先建后删各有优点，前者适于内存受限(如仅允许存在N个固定大小的日志)，后者更为安全(避免创建新日志失败但已删除旧日志)。

创建文件时调用现成库函数即可，而删除时需确定当前最旧的那个文件。下文将介绍几种删除判决的实现方式(时间复杂度依次降低)。

2 实现思路

2.1 比较文件的创建时间

Linux系统中文件没有创建时间的概念，只有访问时间(atime)、修改时间(mtime)和状态改动时间(ctime)。因该需求中日志创建后立即写入内容，其后内容和状态(权限与属性等)均不再改变，故可用mtime或ctime表征创建时间。

调用stat库函数即可获取日志的三种时间，比较各日志的mtime或ctime(整数)信息即可。

 1 #define FILE_NUM       (unsigned short)30 //允许共存的文件数目

 2 #define FILE_NAME_LEN  sizeof("%Log-Clover-65535.log")

 3

 4 #include <sys/types.h>

 5 #include <sys/stat.h>

 6 #include <dirent.h>

 7 #include <errno.h>

 8 #define DIR_FILE_LEN   96 //目录和文件组成的绝对路径最大长度

 9 const char *gDirectoryName = "/sdb1/Clover/linux_test/log";

10

11

12 int CreateLogFile1(const char *pszCreateFileName){//比较文件时间戳

13     DIR *pDir = opendir(gDirectoryName);

14     if(NULL == pDir){

15        fprintf(stderr,"Cannot open directory: %s!\n", gDirectoryName);

16        return -1;

17     }

18

19     unsigned char ucFileNum = 0;

20     time_t tFileTempCtime = 0;

21     char szDelFileName[NAME_MAX+1] = {0};   //待删除的文件名

22     struct dirent *pFileEntry = NULL;

23     while((pFileEntry = readdir(pDir)) != NULL){

24         //剔除当前目录.，上一级目录..及隐藏文件，避免死循环遍历目录

25         if(0 == strncmp(pFileEntry->d_name, ".", 1))

26             continue;

27

28         struct stat tFileStatus;          //文件状态信息

29         char szAbsFile[DIR_FILE_LEN] = {0};  //文件绝对路径

30         sprintf(szAbsFile, "%s/%s", gDirectoryName, pFileEntry->d_name);

31         if(stat(szAbsFile, &tFileStatus) != 0){

32             fprintf(stderr,"Call stat error(errno:%d)!\n", errno);

33             return -1;

34         }

35

36         if(S_ISDIR(tFileStatus.st_mode)) //跳过子目录

37             continue;

38

39         if((ucFileNum < 1) ||

40            (tFileStatus.st_ctime < tFileTempCtime)){ //首个文件或当前文件更老

41             tFileTempCtime = tFileStatus.st_ctime;

42             strcpy(szDelFileName, pFileEntry->d_name);

43         }

44         ucFileNum++;

45         if(ucFileNum >= FILE_NUM){

46             char szDeleteAbsFile[DIR_FILE_LEN] = {0};  //待删除的文件绝对路径

47             sprintf(szDeleteAbsFile, "%s/%s", gDirectoryName, szDelFileName);

48             if(0 != remove(szDeleteAbsFile)){

49                 fprintf(stderr,"Fail to delete file: %s!\n", szDeleteAbsFile);

50                 return -1;

51             }

52         }

53     }

54

55     char szCreateAbsFile[DIR_FILE_LEN] = {0};  //待创建的文件绝对路径

56     sprintf(szCreateAbsFile, "%s/%s", gDirectoryName, pszCreateFileName);

57     FILE *pFile = fopen(szCreateAbsFile, "w+");

58     if(NULL == pFile){

59         fprintf(stderr,"Cannot open file: %s\n", szCreateAbsFile);

60         return -1;

61     }

62

63     fputs(szCreateAbsFile, pFile); //暂时写入绝对路径

64     fclose(pFile);

65     printf("Create file(%s) success!\n", pszCreateFileName);

66

67     closedir(pDir);

68

69     return 0;

70 }

2.2 比较文件名字符串

因日志文件名包含时间信息，故可直接调用strcmp库函数比较日志文件名字符串。

 1 int CreateLogFile2(const char *pszCreateFileName){//比较文件名

 2     DIR *pDir = opendir(gDirectoryName);

 3     if(NULL == pDir){

 4        fprintf(stderr,"Cannot open directory: %s!\n", gDirectoryName);

 5        return -1;

 6     }

 7

 8     unsigned char ucFileNum = 0;

 9     char szDelFileName[NAME_MAX+1] = {0};   //待删除的文件名

10     struct dirent *pFileEntry = NULL;

11     while((pFileEntry = readdir(pDir)) != NULL){//readdir返回的文件顺序与文件名无关

12         //剔除当前目录.，上一级目录..及隐藏文件，避免死循环遍历目录

13         if(0 == strncmp(pFileEntry->d_name, ".", 1))

14             continue;

15

16         if(ucFileNum < 1)  //首个文件

17             strcpy(szDelFileName, pFileEntry->d_name);

18

19         if(strcmp(szDelFileName, pFileEntry->d_name) > 0)  //当前文件更老

20             strcpy(szDelFileName, pFileEntry->d_name);

21

22         ucFileNum++;

23         if(ucFileNum >= FILE_NUM){

24             char szDeleteAbsFile[DIR_FILE_LEN] = {0};  //待删除的文件绝对路径

25             sprintf(szDeleteAbsFile, "%s/%s", gDirectoryName, szDelFileName);

26             if(0 != remove(szDeleteAbsFile)){

27                 fprintf(stderr,"Fail to delete file: %s!\n", szDeleteAbsFile);

28                 return -1;

29             }

30         }

31     }

32

33     char szCreateAbsFile[DIR_FILE_LEN] = {0};  //待创建的文件绝对路径

34     sprintf(szCreateAbsFile, "%s/%s", gDirectoryName, pszCreateFileName);

35     FILE *pFile = fopen(szCreateAbsFile, "w+");

36     if(NULL == pFile){

37         fprintf(stderr,"Cannot open file: %s\n", szCreateAbsFile);

38         return -1;

39     }

40

41     fputs(szCreateAbsFile, pFile); //暂时写入绝对路径

42     fclose(pFile);

43     printf("Create file(%s) success!\n", pszCreateFileName);

44

45     closedir(pDir);

46

47     return 0;

48 }

2.3 比较文件句柄

创建日志时为其创建一个句柄(整数编号)，比较句柄即可。为便于说明，定义如下信息：

typedef struct{

char szFileName[NAME_MAX+1]; //文件名称

unsigned int dwFileHandler;
//文件句柄

}FILE_INFO;

static FILE_INFO gFileInfoMap[FILE_NUM] = {{{0}}};
//FILE_NUM为允许共存的文件数目

全局信息表gFileInfoMap存储当前各日志文件的文件名及其句柄。每当创建一个新日志时，删除句柄最小的文件，并更新其对应的数组记录：文件名称改为新日志名，文件句柄值增加FILE_NUM。

例如：

{“log20130517”, 1};

{“log20130518”, 2};

{“log20130519”, 3};

创建“log20130520”文件后，上面的结构体数组内容变为

{“log20130520”, 4};

{“log20130518”, 2};

{“log20130519”, 3};

下次再创建新文件时覆盖“log20130518”——哪怕新文件名为“log20130513”(比前两种方法更安全)！

该方法无需关心文件的时间信息。这类似于新员工报道时分配的工号，工号数字的大小就代表入职的时间先后(无论工号是否包含入职精确时间)。

因2.4节方法可视为本节的“升级版“，此处省略本节实现。

2.4 表驱动法(无需比较)

为便于说明，定义如下信息：

//gFileNameMap按新旧次序环形记录FILE_NUM个文件的文件名信息

static char gFileNameMap[FILE_NUM][FILE_NAME_LEN] = {{0}};

//gLatestFileIndex记录gFileNameMap第一维最新文件的下标，

//该下标+1并对FILE_NUM取余后对应的元素为最旧的文件，即

//Oldest = (Latest + 1) mod FILE_NUM.

static unsigned short gLatestFileIndex = FILE_NUM-1;

该方法利用“环形存储时最新文件后必为最旧文件“这一特性。最新文件为数组最后一个元素时，取余操作将定位到数组最前端的最旧文件。

 1 int CreateLogFile3(const char *pszCreateFileName){//表驱动法(无需比较)

 2     DIR *pDir = opendir(gDirectoryName); //目录操作并非必要

 3     if(NULL == pDir){

 4        fprintf(stderr,"Cannot open directory: %s!\n", gDirectoryName);

 5        return -1;

 6     }

 7

 8     char szDeleteAbsFile[DIR_FILE_LEN] = {0};  //待删除的文件绝对路径

 9     unsigned short wOldestFileIndex = 0; //(gLatestFileIndex+1)%FILE_NUM;

10     if(FILE_NUM != (gLatestFileIndex+1))

11         wOldestFileIndex = gLatestFileIndex + 1;

12     if(‘\0‘ != gFileNameMap[wOldestFileIndex][0]){//记录为空时remove会删除目录

13         sprintf(szDeleteAbsFile, "%s/%s", gDirectoryName, gFileNameMap[wOldestFileIndex]);

14         if(0 != remove(szDeleteAbsFile)){

15             fprintf(stderr,"Fail to delete file: %s!\n", szDeleteAbsFile);

16             return -1;

17         }

18     }

19

20     char szCreateAbsFile[DIR_FILE_LEN] = {0};  //待创建的文件绝对路径

21     sprintf(szCreateAbsFile, "%s/%s", gDirectoryName, pszCreateFileName);

22     FILE *pFile = fopen(szCreateAbsFile, "w+");

23     if(NULL == pFile){

24         fprintf(stderr,"Cannot open file: %s\n", szCreateAbsFile);

25         return -1;

26     }

27

28     fputs(szCreateAbsFile, pFile); //暂时写入绝对路径

29     fclose(pFile);

30     printf("Create file(%s) success!\n", pszCreateFileName);

31

32     gLatestFileIndex = wOldestFileIndex;

33     strcpy(gFileNameMap[gLatestFileIndex], pszCreateFileName);

34

35     closedir(pDir);

36

37     return 0;

38 }

3 耗时比较

采用如下方法粗略统计除2.3节外的三种实现耗时(未考虑缓存、预热等因素)：

 1 #include <sys/time.h>

 2 #define TIME_ELAPSED(codeToTime) do{  3     struct timeval beginTime, endTime;  4     gettimeofday(&beginTime, NULL);  5     {codeToTime;}  6     gettimeofday(&endTime, NULL);  7     long secTime  = endTime.tv_sec - beginTime.tv_sec;  8     long usecTime = endTime.tv_usec - beginTime.tv_usec;  9     printf("[%s(%d)]Elapsed Time: SecTime = %lds, UsecTime = %ldus!\n", __FUNCTION__, __LINE__, secTime, usecTime); 10 }while(0)

11

12 #include <unistd.h>

13 void CalcTime1(void){

14     unsigned short wFileIdx = 0;

15     for(; wFileIdx < 1; wFileIdx++){

16         //time_t精度为秒，批量测试文件创建时需作秒级延迟；

17         //但这样会影响计时统计，因为sleep会"淹没"CreateLogFile1(单次执行微妙级)

18         //sleep(1);

19         char szFileName[FILE_NAME_LEN] = {0};

20         sprintf(szFileName, "Log-Clover-%05d.log", wFileIdx);

21         CreateLogFile1(szFileName);

22     }

23 }

24 void CalcTime2(void){

25     unsigned short wFileIdx = 0;

26     for(; wFileIdx < 1000; wFileIdx++){

27         char szFileName[FILE_NAME_LEN] = {0};

28         sprintf(szFileName, "Log-Clover-%05d.log", wFileIdx);

29         CreateLogFile2(szFileName);

30     }

31 }

32 void CalcTime3(void){

33     unsigned short wFileIdx = 0;

34     for(; wFileIdx < 1000; wFileIdx++){

35         char szFileName[FILE_NAME_LEN] = {0};

36         sprintf(szFileName, "Log-Clover-%05d.log", wFileIdx);

37         CreateLogFile3(szFileName);

38     }

39 }

40

41 int main(void){

42     TIME_ELAPSED(CalcTime1());

43     TIME_ELAPSED(CalcTime2());

44     TIME_ELAPSED(CalcTime3());

45     DIR *pDir = NULL;

46     TIME_ELAPSED(pDir = opendir(gDirectoryName));

47     TIME_ELAPSED(readdir(pDir));

48     struct stat tFileStatus;          //文件状态信息

49     char szAbsFile[DIR_FILE_LEN] = {0};  //文件绝对路径

50     sprintf(szAbsFile, "%s/%s", gDirectoryName, "Log-Clover-00002.log");

51     TIME_ELAPSED(stat(szAbsFile, &tFileStatus));

52     TIME_ELAPSED(remove(szAbsFile));

53     FILE *pFile = NULL;

54     TIME_ELAPSED(pFile = fopen(szAbsFile, "a+"));

55     TIME_ELAPSED(fputs(szAbsFile, pFile));

56     TIME_ELAPSED(fclose(pFile));

57     TIME_ELAPSED(closedir(pDir));

58     TIME_ELAPSED(strcmp("Log-Clover-00000.log","Log-Clover-00001.log"));

59

60     TIME_ELAPSED({int i=0;for(;i<10000;i++){strcmp("Log-00000","Log-00001");}});

61     TIME_ELAPSED({int i=0;for(;i<10000;i++){int new=20;if(FILE_NUM!=new+1){int old=new+1;}}});

62     TIME_ELAPSED(int new=20;if(FILE_NUM!=new+1){int old=new+1;});

63

64     return 0;

65 }

统计结果如下所示：

对象

条件

耗时(us)

2.1: CalcTime1()

单次

792

2.2: CalcTime2()

单次

214

2.2: CalcTime2()

FILE_NUM=30，循环1000次

274357

2.4: CalcTime3()

FILE_NUM=30，循环1000次

77789

opendir()

单次

readdir()

单次

stat()

单次

remove()

单次

fopen()

单次

fputs()

单次

fclose()

单次

closedir()

单次

strcmp()

单次

strcmp()

循环10000次

Oldest = (Latest + 1) mod FILE_NUM

循环10000次

Oldest = (Latest + 1) mod FILE_NUM

单次

注意：计时结果仅作粗略参考，且每次统计时结果可能略有不同。

可见，文件操作函数(opendir、fopen等)的计时噪声会“淹没“比较代码，导致2.4节表驱动法相比其他方法效果不甚显著。同时考虑到表驱动法其实无需调用opendir/closedir函数，故执行效率可进一步提高。

5 总结

本文给出的表驱动法适用于如下场景：

在按照时空顺序依次创建的若干对象中，查找符合指定时空规则的某个对象(如第N个最老对象)，而不关心对象内部信息。

一则表驱动法的应用实例,布布扣,bubuko.com

时间： 2024-11-10 00:56:50

一则表驱动法的应用实例

1 需求场景

2 实现思路

2.1 比较文件的创建时间

2.2 比较文件名字符串

2.3 比较文件句柄

2.4 表驱动法(无需比较)

3 耗时比较

5 总结

一则表驱动法的应用实例的相关文章

【转】数据驱动编程之表驱动法

关于表驱动法的思考

RDIFramework.NET 中多表关联查询分页实例

使用jquery实现的清空表单元素代码实例

编程学习——表驱动法

Compiler_词法分析_表驱动法

【干货】Laravel --Validate (表单验证) 使用实例

表驱动法 -《代码大全》读书笔记

表驱动法——直接访问表示例1