lucene解决全文检索word2003,word2007的办法

在上一篇文章中 ,lucene只能全文检索word2003,无法检索2007。为解决此问题,找到了如下方法

POI 读取word (word 2003 和 word 2007)

最近在给客户做系统的时候,用户提出需求,要能够导入 word 文件,现在 microsoft word 有好几个版本 97、2003、2007的,这三个版本存储数据的格式上都有相当大的差别,而现在 97 基本上已经退出市场,几乎没有人用这个版本了, 所以在我们的系统中只考虑 2003 版本和 2007 版本的,因为我们只要求能够读取 word 中的文字内容即可,其中的文字样式、图片等信息可以忽略,也不用直接操作 word 文件, 所以我们选择 用 apache 的 POI 进行读取。

读取 2003 版本(.doc)的word文件相对来说比较简单,只需要 poi-3.5-beta6-20090622.jar 和 poi-scratchpad-3.5-beta6-20090622.jar 两个 jar 包即可, 而 2007 版本(.docx)就麻烦多,我说的这个麻烦不是我们写代码的时候麻烦,是要导入的 jar 包比较的多,有如下 7 个之多:
 1. openxml4j-bin-beta.jar
 2. poi-3.5-beta6-20090622.jar
 3. poi-ooxml-3.5-beta6-20090622.jar
 4 .dom4j-1.6.1.jar
 5. geronimo-stax-api_1.0_spec-1.0.jar
 6. ooxml-schemas-1.0.jar
 7. xmlbeans-2.3.0.jar
其中 4-7 是 poi-ooxml-3.5-beta6-20090622.jar 所依赖的 jar 包(在 poi-bin-3.5-beta6-20090622.tar.gz 中的 ooxml-lib 目录下可以找到)。

编写代码之前我们得先下载所需要的 jar 包, 我们只需下载 poi-bin-3.5-beta6-20090622.tar.gz 和 openxml4j-bin-beta.jar 即可,因为所需要的其他 jar 包都能在 poi-bin-3.5-beta6-20090622.tar.gz 中找到, 下面是下载地址:
poi-bin-3.5-beta6-20090622.tar.gz:http://apache.etoak.com/poi/dev/bin/poi-bin-3.5-beta6-20090622.tar.gz
openxml4j-bin-beta.jar:http://mirror.optus.net/sourceforge/o/op/openxml4j/openxml4j-bin-beta.jar
 
    下方是读取 word 文件的 Java 代码,值得注意的是: POI 在读取 word 文件的时候不会读取 word 文件中的图片信息, 还有就是对于 2007 版的 word(.docx), 如果 word 文件中有表格,所有表格中的数据都会在读取出来的字符串的最后。

import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;

import org.apache.poi.POIXMLDocument;
import org.apache.poi.POIXMLTextExtractor;
import org.apache.poi.hwpf.extractor.WordExtractor;
import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.xwpf.extractor.XWPFWordExtractor;

/**
 * POI 读取 word 2003 和 word 2007 中文字内容的测试类<br />
 * @createDate 2009-07-25
 * @author Carl He
 */
public class Test {
    public static void main(String[] args) {
        try {
            //word 2003: 图片不会被读取
              InputStream is = new FileInputStream(new File("c://files//2003.doc"));
            WordExtractor ex = new WordExtractor(is);
            String text2003 = ex.getText();
            System.out.println(text2003);

            //word 2007 图片不会被读取, 表格中的数据会被放在字符串的最后
            OPCPackage opcPackage = POIXMLDocument.openPackage("c://files//2007.docx");
            POIXMLTextExtractor extractor = new XWPFWordExtractor(opcPackage);
            String text2007 = extractor.getText();
            System.out.println(text2007);

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

 找到方法后,我们对上一篇文章indexer.java的源码进行更改,新增函数getDocument2007()

  public static Document getDocument2007(File file) throws Exception {

    	String docPath = file.getAbsolutePath();
  		String title = file.getName();

  		// 鍒涘缓Document
  		Document document = new Document();
	  	OPCPackage opcPackage = POIXMLDocument.openPackage(docPath);
		POIXMLTextExtractor extractor = new XWPFWordExtractor(opcPackage);
		String cont = extractor.getText();
  		document.add(new Field("filename", title, Field.Store.YES,
  				Field.Index.ANALYZED));//TOKENIZED
  		//document.add(new Field("contents", contents));
  		document.add(new Field("contents", cont,Field.Store.YES,Field.Index.ANALYZED));
  		//document.add(new Field("path", docPath, Field.Store.YES,Field.Index.ANALYZED));
  		document.add(new Field("indexDate",DateTools.dateToString(new Date(), DateTools.Resolution.DAY),
          		Field.Store.YES,Field.Index.NOT_ANALYZED));
  		return document;
  	}
    public static Document getDocument2003(File file) throws Exception {
		String docPath = file.getAbsolutePath();
		String title = file.getName();

		// 鍒涘缓Document
		Document document = new Document();
		StringBuffer contents = new StringBuffer("");// 鏂囨。鍐呭
        try {
        	FileInputStream fs = new FileInputStream(docPath);
            HWPFDocument doc = new HWPFDocument(fs);
            Range range = doc.getRange();
            int paragraphCount = range.numParagraphs();// 娈佃惤
            for (int i = 0; i < paragraphCount; i++) {// 閬嶅巻娈佃惤璇诲彇鏁版嵁
                Paragraph pp = range.getParagraph(i);
                contents.append(pp.text());
            } 

        } catch (Exception e) {

        }
        String cont = contents.toString().trim();

		document.add(new Field("filename", title, Field.Store.YES,
				Field.Index.ANALYZED));//TOKENIZED
		//document.add(new Field("contents", contents));
		document.add(new Field("contents", cont,Field.Store.YES,Field.Index.ANALYZED));
		//document.add(new Field("path", docPath, Field.Store.YES,Field.Index.ANALYZED));
		document.add(new Field("indexDate",DateTools.dateToString(new Date(), DateTools.Resolution.DAY),
        		Field.Store.YES,Field.Index.NOT_ANALYZED));
		return document;
	}

  同时修改for循环中的读取文件

if(files[i].getName().endsWith(".doc")){
doc = getDocument2003(files[i]);
}else if(files[i].getName().endsWith(".docx")){
doc = getDocument2007(files[i]);
}

时间: 2024-10-09 15:41:33

lucene解决全文检索word2003,word2007的办法的相关文章

Lucene .NET 全文检索

近期做项目中有用到过Lucene,那个模块是由一位前端大神负责的,空闲时间我也做了个关于Lucene做全文检索的Demo,记录下来,方便以后学习. 关于Lucene的原理,网上有长篇大论的文章,有兴趣的话可以去阅读,再次我就直奔主题,在代码中分析其原理. 1.创建索引(此处我用的是盘古分词) 注:在后台代码的第一行上加上 #define notes这样一行代码,目的是可以用外侧代码的#if,作用嘛 用过之后就很明白了,嘿嘿. #region 创建索引 void CreateIndex(objec

解决android模块化升级的办法

关于原生android版本更新升级必须整个apk更新安装,不能实现部分模块化升级的解决思路: 原生+web混合型APP~ 具体应客户要求,程序必须实现模块化升级,不管用何种办法,我是这么做的,每个功能首页写成html放本地(asset),html里面action操作全部请求服务器端的,之间的传值使用签名+验签方式确保信息安全 [首页放本地而不放服务端是解决即使没网情况下,也可以很友好的给用户展示一个页面] 这个只是我想到的一种解决方案,还有好的方案,请一起分享 public class Main

探索Lucene.Net全文检索

在CSDN,博客园找了一番Lucene.Net相关资料后,最后发现还是没有自己想要的,毕竟lucene.net版本一直在变,这里我用的是Lucene.Net 3.0的版本,demo是在http://www.dotlucene.net/ 网站里面找到的.方法很完善,API也比较全面,http://www.dotlucene.net/30648/lucene-net-api-search-demo. 不过demo里面讲解是检索文件内容服务,而我想要的是检索数据内容服务,我就在它的基础上改了一番. 过

mysq解决sleep进程过多的办法

问题分析 sleep进程过多 造成睡眠连接过多的原因? 1. 使用了太多持久连接 2. 程序中,没有及时关闭mysql连接 3. 数据库查询不够优化,过度耗时. 使用如下命令查看mysql所有进程 mysql> show full processlist; 这里主要看以下几点! Host 表示都有哪些地址和端口连接了数据库 Command 表示连接状态 sleep表示等待状态 Time 表示时间 info 具体执行的操作 通过命令查看得知sleep很多,而且time时间也不一样,有的甚至几千秒.

Ubuntu下mysql5.6解决不支持中文的办法

解决步骤现总结如下: 1 修改mysql的配置文件 /etc/mysql/conf.d/mysql.cnf 在[mysql]的下方加入如下语句: no-auto-rehash    default-character-set=utf8 /etc/mysql/mysql.conf.d/mysqld.cnf 在[mysqld]下加入 socket        = /var/run/mysqld/mysqld.sock    port        = 3306    character-set-s

Xcode6.0 解决无法输入中文的办法.

使用Xcode6.0模拟器不能在textField里面输入中文,也切换不过来,模拟器也添加了中文键盘,还是不能切换键盘输入中文. 解决办法:选中Xcode →product → scheme → Edit scheme → run → options → application Region 选项改为"中国"然后就可以输入中文了

解决Eclipse闪退的办法

今天,调试一个Android程序之后,就闪退了.之后就再也打不开Eclipse.开始的时候,我以为可能重启一下电脑就好了.重启了之后,还是打不开Eclipse,一打开立马就闪退.后来百度找到了一个办法,试了一下,确实好了. 解决办法如下: 1.打开eclipse的workspace目录 2.删除掉.metadata目录 http://blog.csdn.net/ieicihc/article/details/9629991

eclipse 项目修改和更新项目,回退版本,解决分支的冲突的办法

1.我在github建立了3个分支. 2.把其中一个分支拉到本地. 项目修改提交到远程库 3.修改完代码以后commit项目,点击项目右击->team->commit 4.然后提交push到github上,点击项目右击->team->push 更新项目 1.fetch项目,右击项目->team ->fetch 2.pull项目,右击项目->team->pull 回退版本 1.右击项目,->team->show  location history

黑马_10 Lucene:全文检索

10 Lucene:01.全文检索基本介绍 原文地址:https://www.cnblogs.com/MarlonKang/p/11570273.html