自定义Lucene分词器示例

集团的内部通讯工具搜同事时,需要根据姓名后缀进行搜索。譬如“徐欢春”,我们要能根据“欢春”搜出这个人;“黄继刚”,要根据“继刚”为关键字搜出“黄继刚”。这是个很人性化的用户体验,当我们有同事的名字是三个字的时候,我们通常会叫他们名字的最后两个字。Lucene本身并没有提供这种分词器,只能自己照着Lucene已有的分词器进行模仿开发。

参照ngram分词器进行开发。

实现一个Tokenizer和一个工厂类就可以了。Tokenizer类是实际分词是要用到的类。为了方便单元测试,额外增加一个Analyzer类。

分词器类

package org.apache.lucene.analysis.suffix;

import java.io.IOException;
import java.io.Reader;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;

/**
 * 用于姓名取后缀的分词器
 *
 * @author cdlvsheng
 *         date : 2014年9月23日
 *         time : 下午1:49:36
 *         project : im-solr-web
 *         user : cdlvsheng
 */
public class SuffixTokenizer extends Tokenizer {

	private Log						LOG			= LogFactory.getLog(SuffixTokenizer.class);

	private char[]					buffer		= new char[1024];
	private int						suffixOffset;
	private static int				MAX_SIZE;
	private int						termSize;

	private final CharTermAttribute	termAtt		= addAttribute(CharTermAttribute.class);
	private final OffsetAttribute	offsetAtt	= addAttribute(OffsetAttribute.class);

	protected SuffixTokenizer(Reader input) {
		super(input);
	}

	protected SuffixTokenizer(AttributeFactory factory, Reader input) {
		super(factory, input);
	}

	@Override
	public boolean incrementToken() throws IOException {
		try {
			clearAttributes();

			if (termSize != -1) {
				termSize = input.read(buffer);
				if (termSize >= 0) {
					MAX_SIZE = termSize;
				}
			}

			if (suffixOffset + 1 >= MAX_SIZE) {
				return false;
			}

			termAtt.copyBuffer(buffer, suffixOffset, MAX_SIZE);

			termAtt.setLength(MAX_SIZE - suffixOffset);
			offsetAtt.setOffset(correctOffset(suffixOffset), correctOffset(MAX_SIZE));
			LOG.debug(termAtt.buffer());
			suffixOffset++;
		} catch (Exception e) {
			LOG.error(e.getMessage(), e);
		}
		return true;
	}

	@Override
	public final void end() {
		final int finalOffset = correctOffset(suffixOffset);
		this.offsetAtt.setOffset(finalOffset, finalOffset);
	}

	@Override
	public void reset() throws IOException {
		super.reset();
		termSize = 1;
		suffixOffset = 1;
		MAX_SIZE = 0;
	}
}

incrementToken方法是实际分词时用到的方法。一会单元测试时可以看出它的作用。

工厂类

package org.apache.lucene.analysis.suffix;

import java.io.Reader;
import java.util.Map;

import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.util.TokenizerFactory;
import org.apache.lucene.util.AttributeSource.AttributeFactory;

public class SuffixTokenizerFactory extends TokenizerFactory {

	public SuffixTokenizerFactory(Map<String, String> args) {
		super(args);
	}

	@Override
	public Tokenizer create(AttributeFactory factory, Reader input) {
		return new SuffixTokenizer(factory, input);
	}
}

工厂类的作用就是产生分词器类的实例。

analyzer类

package org.apache.lucene.analysis.suffix;

import java.io.Reader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Tokenizer;

public final class SuffixAnalyzer extends Analyzer {

	@Override
	protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
		final Tokenizer source = new SuffixTokenizer(reader);
		return new TokenStreamComponents(source, source);
	}
}

以上3个类合作就构成了一个完整的自定义分词器组件。

单元测试

package test.prefix.tokenizer;

import java.io.IOException;

import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.suffix.SuffixAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.junit.Test;

/**
 * @author cdlvsheng
 *         date : 2014年9月22日
 *         time : 下午7:23:01
 *         project : im-solr-web
 *         user : cdlvsheng
 */
public class SuffixTest {

	@SuppressWarnings("resource")
	@Test
	public void suffixTest() {
		try {
			SuffixAnalyzer analyzer = new SuffixAnalyzer();
			TokenStream ts = analyzer.tokenStream("text", "黄继刚");
			CharTermAttribute term = ts.addAttribute(CharTermAttribute.class);
			ts.reset();
			while (ts.incrementToken()) {
				System.out.println(term.toString());
			}
			ts.end();
			ts.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}

程序输出结果:

继刚

学习一个新的框架,照葫芦画瓢可能是最快捷的方式,但是有点赶鸭子上架的感觉。

时间: 2024-11-07 17:11:28

自定义Lucene分词器示例的相关文章

lucene 分词器

分词器 作用:切分关键词的. 在什么地方使用到了:在建立索引和搜索时. 原文:An IndexWriter creates and maintains an index. 1,切分: An IndexWriter creates and maintains an index . 2,去除停用词 IndexWriter creates maintains index 3,转为小写 indexwriter creates maintains index 1 package cn.itcast.e_a

lucene3.5实现自定义同义词分词器

最近一直在学Lucene3.5,感觉里面的知识真的很棒.今天就和大家一起分享一下我们自己来实现一个同义词的分词器. 一个分词器由多个Tokenizer和TokenFilter组成,这篇文章讲解的就是我们利用这两个特性实现自己的一个简单的同义词分词器,不妥之处请大家指出. 一.设计思路 什么叫同义词搜索呢?比如我们在搜 "中国" 这个词的时候,我们也可以搜索 "大陆" 这个词,后者搜索的要包含 "中国" 这个单词的文章, 前者搜索的要包含 &quo

lucene分词器中的Analyzer,TokenStream, Tokenizer, TokenFilter

分词器的核心类: Analyzer:分词器 TokenStream: 分词器做好处理之后得到的一个流.这个流中存储了分词的各种信息,可以通过TokenStream有效的获取到分词单元. 以下是把文件流转换成分词流(TokenStream)的过程 首先,通过Tokenizer来进行分词,不同分词器有着不同的Tokenzier,Tokenzier分完词后,通过TokenFilter对已经分好词的数据进行过滤,比如停止词.过滤完之后,把所有的数据组合成一个TokenStream:以下这图就是把一个re

Lucene分词器

Lucene分析器的基类为Analyzer,Analyzer包含两个核心组件:Tokenizer和 TokenFilter.自定义分析器必须实现Analyzer类的抽象方法createComponents(String)来定义TokenStreamComponents.在调用方法tokenStream(String, Reader)的时候,TokenStreamComponents会被重复使用. 自定义分析器首先需要继承Analyzer类,代码如下: public class HAnalyzer

Lucene实现自定义中文同义词分词器

---------------------------------------------------------- lucene的分词_中文分词介绍 ---------------------------------------------------------- Paoding:庖丁解牛分词器.已经没有更新了 mmseg:使用搜狗的词库 1.导入包(有两个包:1.带dic的,2.不带dic的) 如果使用不带dic的,得自己指定词库位置 2.创建MMSegAnalyzer(指明词库所在的位置

Lucene.net(4.8.0) 学习问题记录一:分词器Analyzer的构造和内部成员ReuseStategy

前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ,PanGu分词也是对应Lucene3.6.0版本的.不过好在Lucene.net 已经有了Core 2.0版本,4.8.0 bate版,而PanGu分词,目前有人正在做,貌似已经做完,只是还没有测试~,Lucene升级的改变我都会加粗表示. Lucene.net 4.8.0 https:

Lucene分词原理与方式

-------------------------------------------------------- lucene的分词_分词器的原理讲解 -------------------------------------------------------- 几个默认分词 SimpleAnalyzer StopAnalyzer WhitespaceAnalyzer(根据空格分词) StandardAnalyzer 分词流程 Reader  ---->Tokenizer---->大量的To

lucene自定义分词器

工作上,有需要对纯数字的字符串做分词,好像CJK二元分词器对这样的数字不会做分词,所以自己写了个分词器,分词器达到以下效果:对字符串1234567,分词后为:12 34 56 7 Analyzer: package org.apache.lucene.analysis.core; import java.io.Reader; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.ap

Lucene实现自定义分词器(同义词查询与高亮)

今天我们实现一个简单的分词器,仅仅做演示使用功能如下: 1.分词按照空格.横杠.点号进行拆分: 2.实现hi与hello的同义词查询功能: 3.实现hi与hello同义词的高亮显示: MyAnalyzer实现代码: public class MyAnalyzer extends Analyzer { private int analyzerType; public MyAnalyzer(int type) { super(); analyzerType = type; } @Override p