我手上有关数据交换的项目比较多,而且比较分散. 最新业务量大到一定程度,我需要知道每个事项任务每天数据量交换的情况, 有一部分是用SSIS包执行的,有一部分是通过xml数据交换的,
还有一部分, 是通过pdf文件上传做交换的,还有ftp文件下载等等,总之就是很杂.
我想写一个工具, 把这些交换的东西全部整合一下,做一下统计,然后每天出一个报告. 我就开始准备我的程序.
我想要实现的功能包括如下几个方面:
1.多数据库连接 ,各个系统都在不同的数据库里面
2.要将结果生成到Excel里面
3.为了转发方便, 我需要生成邮件,然后群发,这样就可以共享了.
首先我使用 EntityFrameWork 作为数据底层, 这样也是为了方便操作数据库, 然后 我希望对各表进行读取,有一些复杂的查询语句,我希望能够直接执行,
因为要时常统计多个数据库中的表信息,所以我做了如下的封装. (我只希望有查询的功能)
public class SqlDBHelper<T> where T : class
{
DbContext context = null;
public SqlDBHelper()
{
context = new DbContext("defaultDBEntity");
}
public SqlDBHelper(string dbEntityName)
{
context = new DbContext(dbEntityName);
}
/// <summary>
/// 按条件查询
/// </summary>
/// <param name="where"></param>
/// <returns></returns>
public IQueryable<T> FindList(Expression<Func<T, bool>> where)
{
var temp = context.Set<T>().Where(where);
return temp;
}
/// <summary>
/// 按条件查询，排序
/// </summary>
/// <typeparam name="S"><peparam>
/// <param name="where"></param>
/// <param name="orderBy"></param>
/// <param name="isAsc"></param>
/// <returns></returns>
public IQueryable<T> FindList<S>(Expression<Func<T, bool>> where, Expression<Func<T, S>> orderBy, bool isAsc)
{
var list = context.Set<T>().Where(where);
if (isAsc)
list = list.OrderBy<T, S>(orderBy);
else
list = list.OrderByDescending<T, S>(orderBy);
return list;
}
/// <summary>
/// 按条件查询，分页
/// </summary>
/// <param name="pageIndex"></param>
/// <param name="pageSize"></param>
/// <param name="rowCount"></param>
/// <param name="where"></param>
/// <returns></returns>
public IQueryable<T> FindPagedList(int pageIndex, int pageSize, out int rowCount, Expression<Func<T, bool>> where)
{
var list = context.Set<T>().Where(where);
rowCount = list.Count();
list = list.Skip(pageSize * (pageIndex - 1)).Take(pageSize);
return list;
}
/// <summary>
/// 按条件查询，分页，排序
/// </summary>
/// <typeparam name="S"><peparam>
/// <param name="pageIndex"></param>
/// <param name="pageSize"></param>
/// <param name="rowCount"></param>
/// <param name="where"></param>
/// <param name="orderBy"></param>
/// <param name="isAsc"></param>
/// <returns></returns>
public IQueryable<T> FindPagedList<S>(int pageIndex, int pageSize, out int rowCount, Expression<Func<T, bool>> where, Expression<Func<T, S>> orderBy, bool isAsc)
{
var list = context.Set<T>().Where(where);
rowCount = list.Count();
if (isAsc)
list = list.OrderBy<T, S>(orderBy).Skip(pageSize * (pageIndex - 1)).Take(pageSize);
else
list = list.OrderByDescending<T, S>(orderBy).Skip(pageSize * (pageIndex - 1)).Take(pageSize);
return list;
}
public IQueryable<T> ExecuteQuery(string sql)
{
//"select Name,Count(*) Count from T_Persons where Id>{0} and CreateDateTime<={1} group by Name"
var q1 = context.Database.SqlQuery<T>(sql).AsQueryable();
return q1;
}
}
如果希望有 增删改, 可以补上以下代码. (统计,由于是正式库,应该只赋予只读的数据权限)
/// <summary>
/// 新增一个实体
/// </summary>
/// <param name="entity"></param>
/// <returns></returns>
public int Add(T entity)
{
context.Entry<T>(entity).State = System.Data.Entity.EntityState.Added;
return context.SaveChanges();
}
/// <summary>
/// 删除一个实体
/// </summary>
/// <param name="entity"></param>
/// <returns></returns>
public int Remove(T entity)
{
context.Entry<T>(entity).State = System.Data.Entity.EntityState.Deleted;
return context.SaveChanges();
}
/// <summary>
/// 修改一个实体
/// </summary>
/// <param name="entity"></param>
/// <returns></returns>
public int Update(T entity)
{
context.Entry<T>(entity).State = System.Data.Entity.EntityState.Modified;
return context.SaveChanges();
}
/// <summary>
/// 批量新增实体
/// </summary>
/// <param name="dbContext"></param>
/// <returns></returns>
public int AddList(params T[] entities)
{
int result = 0;
for (int i = 0; i < entities.Count(); i++)
{
if (entities[i] == null)
continue;
context.Entry<T>(entities[i]).State = System.Data.Entity.EntityState.Added;
if (i != 0 && i % 20 == 0)
{
result += context.SaveChanges();
}
}
if (entities.Count() > 0)
result += context.SaveChanges();
return result;
}
/// <summary>
/// 批量删除实体
/// </summary>
/// <param name="where"></param>
/// <returns></returns>
public int RemoveList(Expression<Func<T, bool>> where)
{
var temp = context.Set<T>().Where(where);
foreach (var item in temp)
{
context.Entry<T>(item).State = System.Data.Entity.EntityState.Deleted;
}
return context.SaveChanges();
}
具体使用的时候, 指定数据库实体,然后设置 实体表对象,进行查询
const string objEntName = "DBTest3Entities";
public List<CheckDataModel> GetDataUploadDZ()
{
DBHelper<DataUploadDZ> helper1 = new DBHelper<DataUploadDZ>(objEntName);
DataUploadDZ uploadDz = helper1.FindList(c => c.Id > 0).OrderByDescending(c => c.CreateTime).Take(1).FirstOrDefault();
//省略 逻辑处理,以及 return 语句
}
最后从 各个数据库里面,查询出对应的信息, 整理成统一的格式, 进行 生成Excel 以及发送Html 邮件
List<CheckDataModel> list12 = new List<CheckDataModel>();
//省略逻辑处理
list1.RemoveAll(c => c.LogicName == null || c.LogicName == "");
for (int i = 0; i < list1.Count; i++)
{
list1[i].Xh = (i + 1).ToString();
}
//然后将数据List 写入表格, 以及导出Excel
//数据有了, 现在开始生成 Html页面, 以及Excel附件
DataTable table = TableListHelper.ToDataTable<CheckDataModel>(list1);
DataRow newRow = table.NewRow();
newRow[0] = " 序号 ";
newRow[1] = " 运行时间设定 ";
newRow[2] = " 业务名称 ";
newRow[3] = " 业务简称代码 ";
newRow[4] = " 最后一次运行时间 ";
newRow[5] = " 运行状态 ";
newRow[6] = " 错误信息 ";
//序号</th><th>运行时间设定</th><th>业务名称</th><th>业务简称代码</th><th>最后一次运行时间</th><th>运行状态</th><th>错误信息</th>
table.Rows.InsertAt(newRow, 0);
string filePath = @"E:\ApplicationRun\CheckDataExcel\" + "每日数据交换运行状况检查" + DateTime.Now.ToString("yyyy-MM-dd") + ".xlsx";
if (File.Exists(filePath))
{
FileInfo fi = new FileInfo(filePath);
if (fi.Length < 1024)
{
fi.Delete(); //如果文件小于1kb, 删除该文件
}
}
if (!File.Exists(filePath))
{
//如果文件不存在,就生成excel,并且发送邮件
NpoiExcelHelper.CreateExcel(table, filePath);
}
string htmlContent = GetHtmlContent(list1);
SendEmail(htmlContent, filePath);
首先将List转换成 DataTable
public static DataTable ToDataTable<T>(IEnumerable<T> collection)
{
var props = typeof(T).GetProperties();
var dt = new DataTable();
dt.Columns.AddRange(props.Select(p => new DataColumn(p.Name, p.PropertyType)).ToArray());
if (collection.Count() > 0)
{
for (int i = 0; i < collection.Count(); i++)
{
ArrayList tempList = new ArrayList();
foreach (PropertyInfo pi in props)
{
object obj = pi.GetValue(collection.ElementAt(i), null);
tempList.Add(obj);
}
object[] array = tempList.ToArray();
dt.LoadDataRow(array, true);
}
}
return dt;
}
然后生成Html代码,这里生成一个Html,带表格的页面
private string GetHtmlContent(List<CheckDataModel> listData)
{
StringBuilder sb = new StringBuilder(256);
sb.Append("<!DOCTYPE html>");
sb.Append("<html lang=\"en\" xmlns=\"http://www.w3.org/1999/xhtml\">");
sb.Append("<head> <meta charset=\"utf-8\" /> <title></title></head>");
sb.Append("<style>").AppendLine();
sb.Append("table { border-left: 1px solid black;border-top: 1px solid black;}").AppendLine();
sb.Append("td { border-right: 1px solid black; border-bottom: 1px solid black;padding:0px 5px;}").AppendLine();
sb.Append("th { border-right: 1px solid black; border-bottom: 1px solid black;padding:0px 5px;}").AppendLine();
sb.Append("</style>").AppendLine();
sb.Append("<html><body>").AppendLine();
sb.Append("<table cellspacing=\"0\" cellpadding=\"0\">").AppendLine(); ;
sb.Append(string.Format("<th>序号</th><th>运行时间设定</th><th>业务名称</th><th>业务简称代码</th><th>最后一次运行时间</th><th>运行状态</th><th>错误信息</th>"));
for (int i = 0; i < listData.Count; i++)
{
sb.Append(string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>{3}</td><td>{4}</td><td>{5}</td><td>{6}</td></tr>",
listData[i].Xh, listData[i].RunTimeSD, listData[i].LogicName, listData[i].LogicCode, listData[i].LastRunTime, listData[i].RunStatus, (string.IsNullOrEmpty(listData[i].Remark) ? " " : listData[i].Remark)));
}
sb.Append("</table>").AppendLine();
sb.Append("</body></html>");
string result = sb.ToString();
return result;
}
发邮件,使用QQ的 STMP3 ,这里特别说一下, QQ现在不是直接使用邮箱密码,而是要发送短信去生成一个 code,用这种方式可以保护邮箱密码不被泄露
private void SendEmail(string htmlContent, string filePath)
{
try
{
var reciver = ConfigurationManager.AppSettings["EmailAddress"].ToString();
string mailfrom = "[email protected]";
string mailPwd = "********";
//mcyabgovpiuebbfd
// var content = rtxt_Content.Text;
MailMessage message = new MailMessage();
//设置发件人,发件人需要与设置的邮件发送服务器的邮箱一致
MailAddress fromAddr = new MailAddress(mailfrom);
message.From = fromAddr;
//设置收件人,可添加多个,添加方法与下面的一样
message.To.Add(reciver);
//设置抄送人
// message.CC.Add("[email protected]");
//设置邮件标题
message.Subject = "每日运行数据检查" + DateTime.Now.ToString("yyyy-MM-dd");
if (filePath != "")
{
//如果有附件,添加附件
Attachment data = new Attachment(filePath, MediaTypeNames.Application.Octet);
ContentDisposition disposition = data.ContentDisposition;
disposition.CreationDate = System.IO.File.GetCreationTime(filePath);
disposition.ModificationDate = System.IO.File.GetLastWriteTime(filePath);
disposition.ReadDate = System.IO.File.GetLastAccessTime(filePath);
message.Attachments.Add(data);
System.Net.Mime.ContentType ctype = new System.Net.Mime.ContentType();
}
message.IsBodyHtml = true; //是否为html格式
//设置邮件内容
message.Body = htmlContent;
//设置邮件发送服务器,服务器根据你使用的邮箱而不同,可以到相应的 邮箱管理后台查看,下面是QQ的
SmtpClient client = new SmtpClient("smtp.qq.com");
//设置发送人的邮箱账号和密码
client.Credentials = new NetworkCredential(mailfrom, mailPwd);
//启用ssl,也就是安全发送
client.EnableSsl = true;
//发送邮件
client.Send(message);
}
catch (Exception ex)
{
throw ex;
}
}
邮件内容,并且带上附件Excel, 这里生成Excel的方式, 我比较喜欢用 NPOI组件,这个不仅生成Excel 快速,而且可以不用安装Office组件,依耐性低.
NPOI 组件, 是第三方 开源的, 可以到它的服务器上,去下载源代码,这里我只是简单介绍下使用方式.
public class NpoiExcelHelper
{
public static void CreateExcel(DataTable table,string path)
{
XSSFWorkbook workbook2007 = new XSSFWorkbook(); //新建xlsx工作簿
ISheet sheet = workbook2007.CreateSheet("Sheet1");
for (int i = 0; i < table.Rows.Count; i++)
{
IRow row = sheet.CreateRow(i); //i表示了创建行的索引，从0开始
//创建单元格
for (int j = 0; j < table.Columns.Count; j++)
{
ICell cell = row.CreateCell(j); //同时这个函数还有第二个重载，可以指定单元格存放数据的类型
cell.SetCellValue(table.Rows[i][j].ToString());
}
}
FileStream file2007 = new FileStream(path, FileMode.Create);
workbook2007.Write(file2007);
file2007.Close();
workbook2007.Close();
}
}
这里生成出来的是 xlsx的文件格式, 也就是 2007及以上版本.
嗯,好了,整个过程就是这样了. 下面总结一下流程.
1.设置多个数据库的Entity
2.进行查询,封装成统一的List<T>,显示结果
3.为了友好的显示,要生成Excel, 先将List<T>转换成DataTable,再写入Excel
4.根据DataTable,生成Html内容,然后作为邮件内容,发送出去.
5.邮件中顺带,将excel作为附件,一起发送.
6.按自己喜欢的方式, 我这里是是配置成Windows计划任务,这样我每天上班打开电脑就能知道昨天的运行情况了.(一天检查1次到2次)
说明: 不方便提供下载,所以进行了加密.
源代码下载: ConDataCheck 下载 解压密码: 本机电脑PIN
时间： 2024-07-29 14:43:59