ETL处理过程中，经常需要进行文件校验，如文件级校验、记录级校验，需要保存文件的基本信息，文件名、文件大小、数据日期等，使用Pro*C的一种方法如下：
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <dirent.h>
#include <limits.h>
#include <sqlda.h>
#include <sqlcpr.h>
/*定义数据库连接信息*/
#define USERNAME "masaetl"
#define PASSWORD "masaetl"
#define ORACLESID "DWDB2"
/*定义数据存放目录,这些目录是链接文件的目录*/
char data_dir[5][64]={ "/ETL_FS/etlfs/interface/boss/input/day_full",
"/ETL_FS/etlfs/interface/boss/input/day_incr",
"/ETL_FS/etlfs/interface/boss/input/oth_full",
"/ETL_FS/etlfs/interface/boss/input/oth_incr",
"/ETL_FS/etlfs/interface/kf_data/link"
};
/*定义处理日期,内部链接的静态变量*/
static char filedate[9];
/*调试代码时使用*/
#ifndef DEBUG
#define DEBUG // 定义调试开关
#endif
/*SQL语句返回值定义*/
/*定义返回值，成功为0，错误<0，警告>0 */
#define SQLCODE sqlca.sqlcode
/*SQL语句返回错误解释 */
#define SQLERRMC sqlca.sqlerrm.sqlerrmc
/*包含数据库信息*/
EXEC SQL INCLUDE sqlca;
EXEC SQL INCLUDE sqlda;
/*SQL语句返回值定义*/
/*定义返回值，成功为0，错误<0，警告>0*/
#define SQLCODE sqlca.sqlcode
/*SQL语句返回错误解释*/
#define SQLERRMC sqlca.sqlerrm.sqlerrmc
void sqlerror(); /*处理SQL错误*/
int ConnectDataBase(); /*链接数据库*/
void DisConnectDataBase(); /*断开数据库连接*/
char *getYestDate(char *szDate); /*得到前一天的日期,格式"YYYYMMDD"*/
char *getFileName(const char *szFilePath,char *szFileName); /*从字符串中得到文件名*/
/**************************************
*** 功能： 提取运行在数据库级报错信息
*** 输入变量：
*** 输出变量：
***************************************/
void sqlerror()
{
/*为了避免错误处理时发生死循环,应给出此说明*/
EXEC SQL WHENEVER SQLERROR CONTINUE;
printf("\n Oracle error detected: ");
printf("\n%s",SQLERRMC); /*错误信息*/
/*断开数据库链接*/
EXEC SQL ROLLBACK WORK RELEASE;
exit(1);
}
/**************************************
*** 功能： 连接数据库
*** 输入变量：
*** 输出变量： -1 连接数据库失败 0 成功
***************************************/
int ConnectDataBase()
{
EXEC SQL BEGIN DECLARE SECTION;
char username[8];
char password[11];
char oraclesid[7];
EXEC SQL END DECLARE SECTION;
strcpy(username,USERNAME); /*用户名*/
//username.len=strlen(username.arr);
strcpy(password,PASSWORD); /*密码*/
//password.len=strlen(password.arr);
strcpy(oraclesid,ORACLESID); /*Oralce SID*/
//oraclesid.len=strlen(oraclesid.arr);
/*链接数据库*/
EXEC SQL CONNECT :username IDENTIFIED BY :password USING :oraclesid;
if( SQLCODE ) {
return -1;
}
return 0;
}
/**************************************
*** 功能： 断开数据库连接
*** 输入变量：
*** 输出变量：
***************************************/
void DisConnectDataBase()
{
/*断开连接*/
EXEC SQL ROLLBACK WORK RELEASE;
exit(0);
}
/***************************************
** 功能 : 得到前一天的日期
*** 输入变量：
*** 输出变量：
****************************************/
char *getYestDate(char *szDate)
{
time_t yest;
struct tm ptime={‘\0‘};
char szChar[5];
//若输入的参数为空,默认提取系统前一天的日期
if ( *szDate ==‘\0‘ ){
yest=time(NULL)-(time_t)(60*60*24);
strftime(szDate,9,"%Y%m%d",localtime(&yest));
return szDate;
}
//提取年
memset(szChar,0,sizeof(szChar));
strncpy(szChar,szDate,4);
ptime.tm_year=atoi(szChar)-1900;
//提取月
memset(szChar,0,sizeof(szChar));
strncpy(szChar,szDate+4,2);
ptime.tm_mon=atoi(szChar)-1;
//提取日
memset(szChar,0,sizeof(szChar));
strncpy(szChar,szDate+6,2);
ptime.tm_mday=atoi(szChar);
yest=mktime(&ptime)-(time_t)(60*60*24);
strftime(szDate,9,"%Y%m%d",localtime(&yest));
return szDate;
}
/***************************************
** 功能 : 从文件路径中得到文件名称（去掉前面的路径）
*** 输入变量：文件路径
*** 输出变量：文件名
****************************************/
char *getFileName(const char *szFilePath,char *szFileName)
{
char *szPtr;
const char separator=‘/‘; /*定义分隔符*/
szPtr=strrchr(szFilePath,separator); /*查找最后一个子串*/
if ( szPtr ){
szFileName=szPtr+1;
}
#ifdef DEBUG
printf("文件名称为: [%s]",szFileName);
#endif
return szFileName;
}
/***************************************
** 功能 : 主程序
****************************************/
int main( void )
{
int i=0;
char *szOrderId;
char pFileName[128];
char *filename; //文件名
char szDate[15]; //日期 "yyyymmddhh24miss"
time_t file_mtime; //文件时间
struct stat st;
struct dirent *dirp;
DIR *pDirectory;
/*定义数据库变量*/
EXEC SQL BEGIN DECLARE SECTION;
char file_date[9]; //文件日期
long orderid; //序号(接口编号)
char file_name[30]; //文件名称
long file_size; //文件大小
char file_create_date[15]; //文件最后修改的时间
EXEC SQL END DECLARE SECTION;
/*链接数据库*/
if( ConnectDataBase()<0 ){
printf("连接数据失败.\n");
}
/*得到处理日期*/
getYestDate(filedate);
strcpy(file_date,filedate);
#ifdef DEBUG
printf("处理日期: [%s].\n",file_date);
#endif
/*删除当日已统计数据*/
EXEC SQL DELETE FROM
MASAETL.ETL_LINK_FILE WHERE FILEDATE=:file_date;
/*处理执行SQL异常*/
if ( 1403!=SQLCODE && 0!=SQLCODE ){
#ifdef DEBUG
printf("删除当日统计数据失败，原因为:[%d]:[%s]\n",SQLCODE,SQLERRMC);
#endif
EXEC SQL ROLLBACK;
DisConnectDataBase();
exit(1);
}
/*提交删除信息*/
EXEC SQL COMMIT;
/*循环处理目录下的文件*/
for( i=0; i<5; i++) //while ( *data_dir[i++] )
{
if ( (pDirectory=opendir(data_dir[i]))==NULL ){
printf("打开目录[%s]失败.\n",data_dir[i]);
continue;
}
while( (dirp=readdir(pDirectory))!=NULL ){
if (strcmp(dirp->d_name,".")==0 ||
strcmp(dirp->d_name,"..")==0)
{
continue;
}
sprintf(pFileName,"%s/%s",data_dir[i],dirp->d_name);
#ifdef DEBUG
printf("文件名为: [%s].\n",dirp->d_name);
#endif
if( stat(pFileName,&st) <0 ){
printf("读文件[%s]到文件结构失败.\n",dirp->d_name);
continue;
}
/*得到文件最后修改时间*/
file_mtime=st.st_mtime;
strftime(szDate,15,"%Y%m%d%H%S",localtime(&file_mtime));
strcpy(file_create_date,szDate);
/*得到文件大小*/
file_size=st.st_size;
/*得到文件名*/
//getFileName(szFileName,filename);
strcpy(file_name,dirp->d_name);
/*得到接口序号*/
strncpy(szOrderId,file_name+1,5);
szOrderId[6]=‘\0‘;
orderid=atol(szOrderId);
/*将文件信息入库*/
EXEC SQL INSERT
INTO MASAETL.ETL_LINK_FILE(FILEDATE,ORDER_ID,FILENAME,FILECREATEDATE,FILESIZE)
VALUES(:file_date, :orderid, :file_name,TO_DATE( :file_create_date,‘YYYYMMDDHH24MISS‘), :file_size);
/*处理执行SQL异常*/
if ( SQLCODE ){
#ifdef DEBUG
printf("向数据库中写入文件信息失败，原因为:[%d]:[%s]\n",SQLCODE,SQLERRMC);
#endif
EXEC SQL ROLLBACK;
continue;
}
/*提交录入信息*/
EXEC SQL COMMIT;
}
/*关闭目录*/
closedir(pDirectory);
}
/*断开数据库连接*/
DisConnectDataBase();
return 0;
}
时间： 2024-08-01 16:19:40