5、自定义SDK，使用xmlReader文件流式处理
第四章节中，总是感觉用别人的工具要受制于人。既然我 们知道了Excel的存储方式，问题便转换成从xml中取出数据，然后放入内存得到我们想要的东西，更重要的是，官方的sdk对xml的读取采用的 Document的方式，对于大文件xml执行速度必然降低，同时对 内存，数据量都有限制，若有几十亿，好几百T的数据，这种处理方式就很难发挥作用了，所以我们决定自己做一个sdk出来，只是将原来读取xml的方式，改 为用xmlReader的方式来读取，采用文件流的方式进行处理。
就不需要将整个的xml文件树完全的读进去，而是按照流的方式进行处理，按照节点一个一个的读取，速度就会更进一步，并且不受数据量以及内存的限制。
网上关于这样的处理的文章较多，大概整理了一下，但是都不全面，在处理的时候还会遇到很多的问题，网上给的代码也只是一个思路，碰到bug，还需要 自己去更多了解Excel到xml的转换过程到底是怎么样的，而本文将站在巨人的肩膀上，告诉你，应该注意的细节。首先还是转载下前人的文档，然后在对文 档中的问题，进行介绍，注意这些问题是必须要注意的，不然会耗费你大量的时间却找不到自己想要的结果！
最近开发的一个网页查询的项目 中，客户提供的数据是多个 Excel 2007 文件，这些文件都很大，有的有十几万行(注意：Excel 2003 文件不能超过 65,536 行)。这些 Excel 2007 文件需要定期批量转换为网页程序可以读取的专用二进制格式文件。我们知道，Microsoft Office System 2007 引入了一个新的文件格式：Office Open XML 格式。她是基于 XML 和 ZIP 归档技术创建的，可以使用任何平台的能够处理 XML 或者 ZIP 文件的工具来访问并且修改文档内容。所以我们就可以使用 Microsoft .NET Framework 2.0 的强大 XML 类库来读取 Excel 2007 文件并转换为网页程序所需的专用二进制格式文件。当然，也可以使用 System.IO.Packaging 名称空间中的类库，但是她位于 .NET Framework 3.0 SDK (WinFX) 的 WindowsBase.dll 中。微软网站上有几篇很有用的文章：“Office (2007) Open XML 文件格式简介”和“如何操作 Office Open XML 格式文档”。下面，就来看看 Excel 2007 Open XML 文件的结构吧。
上图是一个名为 test1.xlsx 的 Excel 2007 文件。我没有 Office 2007 软件，只有正版的 Office 2003 软件。所以需要到微软网站下载一个“Microsoft Office Word、Excel 和 PowerPoint 2007 文件格式兼容包”， 就可以在 Office 2003 中编辑 Office Open XML 文档了。test1.xlsx 文件其实是一个 zip 文件。为了分析其结构，我们现在把她解压到 D:/Test/test1/ 目录下。第一个重要的文件是 xl/workbook.xml，如下图所示：
该 文件中的每个“<sheet>”元素都代表 Excel 2007 文件中的一个工作表，工作表的名称就是其“name”属性的值，在上图中是“好人”和“坏人”。然后根据“<sheet>”元素“r:id” 属性的值(如上图中的“rId1”)到 xl/_rels/workbook.xml.rels 文件中寻找相应工作表数据实际存放的 xml 文件，如下图所示：
从图中可以看中，第一个工作表“好人”的数据实际存放在 worksheets/sheet1.xml 文件中，该文件的内容如下图所示：
上 图中的“<dimension>”元素的“ref”属性的值(“B2:C4”)表示该工作表的范围。 “<sheetData>”元素表示工作的数据，其子元素“<row>”表示工作表中的一行，“<row>”的子元 素“<c>”表示该行中的单元格。如果“<c>”元素有“t”属性的话，“<c>”元素的子元素 “<v>”的值就是各工作表共享的字符串的索引。否则的话，“<v>”元素的值就是该单元格的值。各工作表共享的字符串存放在 xl/sharedStrings.xml 文件中，如下图所示：
上图中，“<sst>”元素的子元素“<si>”就代表了共享的字符串，其值就是“<si>”元素的子元素“<t>”的值。
下面就看看我们的测试程序吧：
源程序的整体结构如下图所示：
我们先看看 XlsxFile.cs 吧：
using System;
using System.IO;
using System.Xml;
using Skyiv.Ben.Common;
namespace Skyiv.OfficeHelper
{
/// <summary>
/// Excel 2007 文件
/// </summary>
sealed partial class XlsxFile : IDisposable
{
string fileName; // Excel 2007 文件的文件名
Sheet[] sheets; // Excel 2007 文件的各工作表
FileStream fileStream { get { return new FileStream(fileName, FileMode.Open, FileAccess.Read); } }
/// <summary>
/// Excel 2007 文件的构造函数
/// </summary>
/// <param name="fileName">Excel 2007 文件的文件名</param>
public XlsxFile(string fileName)
{
this.fileName = fileName;
}
/// <summary>
/// Excel 2007 文件的各工作表
/// </summary>
public Sheet[] Sheets
{
get
{
if (sheets == null)
{
using (Stream zs = Zip.GetZipInputStream(fileStream, "xl/workbook.xml"))
{
// xl/workbook.xml 文件的内容举例如下：
// <workbook>
// <sheets>
// <sheet name="好人" sheetId="1" r:id="rId1" />
// <sheet name="坏人" sheetId="2" r:id="rId2" />
// </sheets>
// </workboo>
XmlDocument xmlDocument = new XmlDocument();
xmlDocument.Load(zs);
XmlNodeList elms = xmlDocument.DocumentElement["sheets"].ChildNodes;
sheets = new Sheet[elms.Count];
for (int i = 0; i < elms.Count; i++)
{
XmlAttributeCollection attrs = elms[i].Attributes;
sheets[i] = new Sheet(attrs["name"].Value, GetXmlFileName(attrs["r:id"].Value), SharedStrings, fileStream);
}
}
}
return sheets;
}
}
/// <summary>
/// 根据“标识”给出表示工作表的 XML 文件名
/// </summary>
/// <param name="id">标识</param>
/// <returns>表示工作表的 XML 文件名</returns>
string GetXmlFileName(string id)
{
string value;
using (Stream zs = Zip.GetZipInputStream(fileStream, "xl/_rels/workbook.xml.rels"))
{
// xl/_rels/workbook.xml.rels 文件的内容举例如下：
// <Relationships>
// <Relationship Id="rId1" Target="worksheets/sheet1.xml" />
// <Relationship Id="rId2" Target="worksheets/sheet2.xml" />
// </Relationships>
XmlDocument xmlDocument = new XmlDocument();
xmlDocument.Load(zs);
value = XmlHelper.GetElementById(xmlDocument, id).Attributes["Target"].Value;
}
return value;
}
public void Dispose()
{
if (sheets == null) return;
foreach (Sheet sheet in sheets) sheet.Dispose();
}
}
}
XlsxFile
该 程序已经有很详细的注释了。在该程序中用 XmlDocument 类来读 xl/workbook.xml 文件和 xl/_rels/workbook.xml.rels 文件，是因为这两个文件都是非常小的文件。然后再来看看 XlsxFile.SharedStrings.cs 吧：
using System;
using System.IO;
using System.Xml;
using Skyiv.Ben.Common;
namespace Skyiv.OfficeHelper
{
partial class XlsxFile
{
string[] sharedStrings;
/// <summary>
/// Excel 2007 文件中各工作表共享的字符串
/// </summary>
string[] SharedStrings
{
get
{
if (sharedStrings == null)
{
Stream zs = null;
try
{
zs = Zip.GetZipInputStream(fileStream, "xl/sharedStrings.xml"); // 可能引发(FileNotFoundException)
// xl/sharedStrings.xml 文件的内容举例如下：
// <sst count="56" uniqueCount="2">
// <si><t>任盈盈</t><phoneticPr fontId="1" type="noConversion" /></si>
// <si><t /></si>
// </sst>
using (XmlReader reader = XmlReader.Create(zs))
{
while (reader.Read()) if (reader.IsStartElement("sst")) break;
sharedStrings = new string[Convert.ToInt32(reader.GetAttribute("uniqueCount"))];
for (int count = 0; ; count++)
{
reader.Read(); // 执行后(reader)的值: <si> or </sst>
if (!reader.IsStartElement("si")) break;
reader.ReadStartElement("si"); // 执行后(reader)的值: <t> or <t />
sharedStrings[count] = reader.ReadElementString("t").Trim(); // 执行后(reader)的值: </si> or <与<t>同级的元素>
if (reader.NodeType != XmlNodeType.EndElement) reader.ReadToNextSibling("t"); // 执行后(reader)的值: </si>
}
}
}
catch (FileNotFoundException)
{
sharedStrings = new string[0]; // 如果没有找到 xl/sharedStrings.xml 文件
}
finally
{
if (zs != null) zs.Close();
}
}
return sharedStrings;
}
}
}
}
XlsxFile.SharedStrings
这下必须用 XmlReader 类来读取 xl/sharedStrings.xml 了，因为这个 xml 文件可能很大。最后是 XlsxFile.Sheet.cs 了：
using System;
using System.IO;
using System.Xml;
using System.Collections.Generic;
using Skyiv.Ben.Common;
namespace Skyiv.OfficeHelper
{
partial class XlsxFile
{
/// <summary>
/// Execl 2007 文件中的工作表
/// </summary>
public sealed class Sheet : IDisposable
{
string[] sharedStrings; // 各工作表共享的字符串
Stream stream; // 用于读取本工作表的文件流
XmlReader reader; // 用于读取本工作表的 XML 数据读取器
string dimension; // 本工作表的范围，如：“A1”、“B2:C4”
int rowCount; // 本工作表的有效行数
string name; // 本工作表的名称
public string Dimension { get { return dimension; } }
public int RowCount { get { return rowCount; } }
public string Name { get { return name; } }
/// <summary>
/// 表示 Excel 2007 文件中的工作表的类的构造函数
/// </summary>
/// <param name="name">本工作表的名称</param>
/// <param name="fileName">工作表的 XML 文件名</param>
/// <param name="sharedStrings">各工作表共享的字符串</param>
/// <param name="fileStream">表示整个 Excel 2007 文件的流</param>
public Sheet(string name, string fileName, string[] sharedStrings, Stream fileStream)
{
this.name = name;
this.sharedStrings = sharedStrings;
stream = Zip.GetZipInputStream(fileStream, "xl/" + fileName);
reader = XmlReader.Create(stream);
while (reader.Read()) if (reader.IsStartElement("dimension")) break;
dimension = reader.GetAttribute("ref"); // 本工作表的范围：<dimension ref="B2:C4" />
rowCount = GetRowCount(dimension); // 根据工作表的范围计算有效行数
while (reader.Read()) if (reader.IsStartElement("sheetData")) break;
}
/// <summary>
/// 读取本工作表的中一行
/// </summary>
/// <returns>读取的行的各字段的内容。如果已经没有可读的行则返回 null。</returns>
public string[] ReadRow()
{
// 表示工作表的 XML 文件(如：xl/worksheets/sheet1.xml)的内容举例如下：
// <worksheet>
// <dimension ref="B2:C4" />
// <sheetData>
// <row r="2" spans="2:3" />
// <row r="4" spans="2:3">
// <c r="B4" />
// <c r="C4" t="s"><v>1</v></c>
// </row>
// </sheetData>
// </worksheet>
// 注意：在该 XML 文件中可能省略某些空行和空单元格，而本方法忽略这些空行和空单元格。
// 但本方法不忽略 XML 文件中的空行“<row />”和空单元格“<c />”。
if (!reader.IsStartElement("row")) reader.Read();
if (!reader.IsStartElement("row")) return null; // 没有可读的行
List<string> list = new List<string>();
for (; ; )
{
reader.Read(); // 执行后(reader)的值: <c> or </row> or (other for <row />)
if (!reader.IsStartElement("c")) break; // 没有可读的单元格
if (reader.IsEmptyElement) list.Add(""); // 空单元格“<c />”
else // “<c><v>1</v></c>”
{
string attr = reader.GetAttribute("t"); // 如果“<c>”元素的“t”属性不为空，则“<v>”元素的值指向各工作表共享的字符串
reader.ReadStartElement("c"); // 执行后(reader)的值: <v> or <v />
list.Add(GetValue(attr, reader.ReadElementString("v"))); // 执行后(reader)的值: </c> or <与<v>同级的元素>
if (reader.NodeType != XmlNodeType.EndElement) reader.ReadToNextSibling("v"); // 执行后(reader)的值: </c>
}
}
return list.ToArray();
}
/// <summary>
/// 根据工作表的范围计算有效行数
/// </summary>
/// <param name="dimension">工作表的范围，如：“A1”、“B2:C4”</param>
/// <returns>有效行数</returns>
int GetRowCount(string dimension)
{
if (string.IsNullOrEmpty(dimension)) return -1;
string[] ss = dimension.Split(‘:‘);
if (ss.Length == 1) return 1;
if (ss.Length != 2) return -1;
return GetRowNumber(ss[1]) - GetRowNumber(ss[0]) + 1;
}
/// <summary>
/// 根据单元格的坐标计算单元格的行号
/// </summary>
/// <param name="str">单元格的坐标，如“C4”</param>
/// <returns>单元格的行号</returns>
int GetRowNumber(string str)
{
int i;
for (i = 0; i < str.Length; i++) if (char.IsDigit(str, i)) break;
return int.Parse(str.Substring(i));
}
/// <summary>
/// 给出单元格的值，可能是各工作表共享的字符串
/// </summary>
/// <param name="attr">“<c>”元素的“t”属性的值</param>
/// <param name="value">“<v>”元素的值</param>
/// <returns>单元格的值</returns>
string GetValue(string attr, string value)
{
if (attr != null)
{
int index;
if (!int.TryParse(value, out index)) throw new Exception("共享字符串索引(" + value + ")必须是整数");
if (index < 0 || index >= sharedStrings.Length) throw new Exception("共享字符串索引("
+ index + ")必须在(0)到(" + (sharedStrings.Length - 1) + ")之间");
value = sharedStrings[index];
}
return value;
}
public void Dispose()
{
if (reader != null) reader.Close();
if (stream != null) stream.Close();
reader = null;
stream = null;
}
}
}
}
XlsxFile.Sheet
在这个程序中也是用 XmlReader 类来读取 xl/worksheets/sheet1.xml 文件。
备注：
1.时间的问题，非文本的时间，xml中会自动转换成浮点数存放的，这个浮点数是通过ToOAtime()得到的,这个函数是干嘛的？自己查sdk去。
2.sharedStrings 中<t></t>并不是完全跟<si></si>一对一对应关系的，本文的代码中是默认一对一的，其实 是错误的，因为当单元格中内容若有颜色，字体，大小属性限制某个字符的，会将这个单元格的内容拆分成多个t标签来存放，具体可以自己测试去，因为涉及到保 密，就不提供源码了，处理也很简单，我这里就是告诉下你，这种情况会出问题，要注意！