使用Lucene实现多个文档关键词检索demo（二）

上次在使用Lucene建立索引时使用的时自带的StandAnalyzer分词器，而这个分词器在对中文进行分词时只是机械的按字进行划分，因此使用它lucene就不能很好的对中文索引，也就不能实现对中文关键词的检索了，因此其实上次的实践只能对英文进行。

为了解决这个问题，可以使用IKAnalyzer，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。它支持中英文等分词。

接下来就用它来改善检索功能，首先是下载IKAnalyzer开发包，我将开发包上传到了这里密钥：7j78这个包我已经实践过，之前下别的版本会与最新的lucene产生冲突。包里面有jar包，两个配置文件以及使用文档的pdf，一个配置文件是用来配置扩展字典以及需要过滤的无意义词的字典，另一个则是直接在里面写上需要过滤哪些无意义词。

下面的代码是分别用StandAnalyzer和IKAnalyzer对同一个中文字符串分别进行分词

public static void analysis(){
		Analyzer luceneAnalyzer = new StandardAnalyzer();//分词工具
		try {
			TokenStream tokenStream=luceneAnalyzer.tokenStream("","明天就是国庆节了");
			   CharTermAttribute term=tokenStream.getAttribute(CharTermAttribute.class);
			   tokenStream.reset();
		        //遍历分词数据
		        while(tokenStream.incrementToken()){
		            System.out.print(term.toString()+"|");
		        }
		        tokenStream.clearAttributes();
		        tokenStream.close();

		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
	public static void analysisByIK() throws IOException{
		String text="明天就是国庆节了";
		IKSegmenter ik = new IKSegmenter(new StringReader(text),true);
		Lexeme lexeme = null;
	    while((lexeme = ik.next())!=null){
	    	System.out.print(lexeme.getLexemeText()+"|");
	    }
	}

运行结果如下：

明|天|就|是|国|庆|节|了|

明天|就是|国庆节|了|

可以看到IKAnalyzer分词的结果更加符合期望。

下面代码是使用IKAnalyzer在建立文档索引时替换原先的StandAnalyer。

public static void buildIndex(String idir,String dDir)throws IOException{
		File indexDir = new File(idir);// 索引存放目录
		File dataDir = new File(dDir);// 需要建立索引的文件目录
		Analyzer luceneAnalyzer = new IKAnalyzer();//分词工具
		File[] dataFiles = dataDir.listFiles();
		IndexWriterConfig indexConfig = new IndexWriterConfig(Version.LATEST, luceneAnalyzer);
		FSDirectory fsDirectory = null;
		IndexWriter indexWriter = null;
		try {
			fsDirectory = FSDirectory.open(indexDir);// 索引目录
			indexWriter = new IndexWriter(fsDirectory, indexConfig);// 用于创建索引的对象
			long startTime = new Date().getTime();
			for (int i = 0; i < dataFiles.length; i++) {
				if (dataFiles[i].isFile() && dataFiles[i].getName().endsWith(".txt")) {
					Document document = new Document();//代表一个文档
					System.out.println(dataFiles[i].getPath());
					Reader txtReader = new FileReader(dataFiles[i]);
					FieldType fieldType = new FieldType();
					fieldType.setIndexed(true);
					document.add(new TextField("path",dataFiles[i].getCanonicalPath(),Store.YES));//Field是用来描述文档的属性，比如这里文档设置了两个属性，路径和内容
					document.add(new Field("contents", txtReader, fieldType));
					indexWriter.addDocument(document);
				}
			}
			indexWriter.commit();//为文档建立索引
			long endTime = new Date().getTime();
			System.out.println("It takes " + (endTime - startTime) + " milliseconds to create index for the files in directory " + dataDir.getPath());
		} catch (IOException e) {
			e.printStackTrace();
			try {
				indexWriter.rollback();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
		} finally {
			if(indexWriter!=null){
				indexWriter.close();
			}
		}
	}