lucene介绍

  lLucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开发源代码的全文检索引擎工具包。它是一个很强大的搜索库,能轻易的将搜索功能加入到任何程序中。能对文档搜索,文档内信息搜索或相关文档进行搜索等操作,源码由java实现,是一个成熟,卡原的检索工具。

  lucene的整体架构如下:

            

  从图中,我们可以看出,主要分为两个大步骤,一个是建立索引的过程,一个是通过关键字查找索引搜索的过程。

  索引过程,可以从DB,web,文件系统等来源抓取原始数据,对该数据通过以某种方式,对某些内容,建立索引文档。

  搜索过程,通过对用户搜索的关键字,通过分词等构造得到查询关键字的索引,进而从索引库中找到相关内容。

  

从构建索引和搜索两个过程,来介绍lucene的使用。

首先,得了解使用lucene的几个基本类。

  索引过程:

  1,indexWirter

  indexWriter是写索引的关键组件。这个类负责创建,打开或关闭索引,并想索引中写入内容。不过IndexWrier需要一个空间来储存内容,这个由Directory完成。

  2,Directory

  directory描述了lucene的储存路径。每个directory对应一个索引库。

  3,Analysis

  该类是对文档索引之前的操作,文档再索引之前会经过分词器的处理,比如一行“hello world",对空格处理的分词器就将该内容分成两个部分”hello“,”world",大写也有可能会都变成小写。这一些在索引之前的一些操作由分词器来操作。

  4,Field

  该类是保存一个文档中的的基本单位,也可以理解为一个文档中的一个属性。lucene中有不同的Field类,比如字符串类型,整型等,同时Field还有很多设置选项,比如该Field是否存储,是否被索引,已经存储格式等。是Document中携带信息单元。

  5,document

  document字面上意思就是一个文档,一个document是索引保存记录的基本单位,索引中保存的位置什么的就是document的位置信息,和db比较,可以理解为一个表中的一行记录。它代表一些域Field的集合。

  下面是一个索引过程的基本代码(lucene版本5.4.1)

  

            Analyzer analyzer = new SimpleAnalyzer();

            IndexWriterConfig config = new IndexWriterConfig(analyzer);
            config.setRAMBufferSizeMB(bufferMB);
            config.setMaxBufferedDocs(bufferSize);

            String path = "D:\\repositoryName";
            Directory index = FSDirectory.open(Paths.get(path));
            IndexWriter writer = new IndexWriter(index, config);

            for (int i = 0; i < 100; i++) {
                Document doc = new Document();
                doc.add(newStringField("msid", record.getMsid(),
                        Field.Store.YES));
                doc.add(new StringField("city", record.getCity(),
                        Field.Store.YES));
                writer.add(doc);

            }
            writer.close();

  检索过程:

  1,Term

  Term是搜索功能的基本单元,和构建索引过程的Field类似,不过Field可能会被分词成几个单元。term包含的是搜索的字段名称,以及对应搜索的内容。

  2,IndexReader,indexSearcher

  indexReader与indexWriter想对应。indexWriter是对索引的写入,而indexReader是对索引的读取。indexSearcher则是在indexReader上构建的一个搜索入口对象。

  3,Query

  query指的就是查询,query是指的查询的条件,有一个或多个Term构成。同时query有很多子类,分别对应不同类型,不同范围的查询。

  4,TopDocs

  topDocs是查询结果集,indexSearcher查询条件query得到的结果。包含的是结果document的id。

  搜索过程基本代码:

    

        String path ="D:\\repositoryName";
        Directory index = FSDirectory.open(Paths.get(path));
        IndexReader reader = DirectoryReader.open(index);

        IndexSearcher searcher = new IndexSearcher(reader);

        Query query = new TermQuery(new Term("msid","ttt"));
        List<Record> retList = new ArrayList<Record>();

        TopScoreDocCollector collector = TopScoreDocCollector.create(maxResultCount);
        searcher.search(query, collector);

          ScoreDoc[] hits = collector.topDocs().scoreDocs;

        for(int i=0;i<hits.length;++i) {
              int docId = hits[i].doc;

              Document document = searcher.doc(docId);
              String msid = document.get("msid");
        }

        reader.close();

以上是lucene的一个最基本的功能构建索引与搜索的简单代码,能快速入手使用。

  

时间: 2024-10-18 07:30:53

lucene介绍的相关文章

Lucene介绍与使用

Lucene介绍与使用 原文链接:https://blog.csdn.net/weixin_42633131/article/details/82873731 不选择使用Lucene的6大原因? 原文链接:https://blog.csdn.net/xiangxizhishi/article/details/74581950 Lucene是开放源代码的全文搜索引擎工具包,凭借着其强劲的搜索功能和简单易用的实现,在国内已经很普及,甚至一度出现了言搜索必称Lucene的盛景.上个月Lucene的开发

Lucene介绍与入门使用

Lucene简介 Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言).Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎.Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供.Luc

全文检索技术---Lucene

1       Lucene介绍 1.1   什么是Lucene Lucene是apache下的一个开源的全文检索引擎工具包.它为软件开发人员提供一个简单易用的工具包(类库),以方便的在目标系统中实现全文检索的功能. 1.2   全文检索的应用场景 1.2.1  搜索引擎 ©注意: Lucene和搜索引擎是不同的,Lucene是一套用java或其它语言写的全文检索的工具包.它为应用程序提供了很多个api接口去调用,可以简单理解为是一套实现全文检索的类库.搜索引擎是一个全文检索系统,它是一个单独运

Lucene基础(一)--入门

Lucene介绍 lucene的介绍,这里引用百度百科的介绍Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言).Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎.Lucene是一套用于全文检索和搜寻的开源程式库,

Lucene实现索引和查询

0引言 随着万维网的发展和大数据时代的到来,每天都有大量的数字化信息在生产.存储.传递和转化,如何从大量的信息中以一定的方式找到满足自己需求的信息,使之有序化并加以利用成为一大难题.全文检索技术是现如今最普遍的信息查询应用,生活中利用搜索引擎,在博客论坛中查找信息,这些搜索的核心原理就是本文要实现的全文检索技术.随着文档信息数字化的实现,将信息有效存储并及时准确的提取是每一个公司.企业和单位要做好的基础.针对英文的全文检索已经有很多成熟的理论和方法,开放源代码的全文检索引擎Lucene 是Apa

Lucene的基本使用

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px Helvetica } 一.全文检索与Lucene介绍 1.全文检索 将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,从而达到搜索相对较快的目的.这部分从非结构化数据中提取出然后重新组织的信息,我们称之索引. 这种先建立索引,再对索引进行搜索的过程就叫全文检索(Full-text Search). 2.Lucene技术 Lucene是ap

全文检索引擎:solr lucene

solr在lucene外边做了一层厚厚的封装,主要是为了简化二次开发,提供了一些成熟的解决方案. Lucene是全文检索是对索引中Document的各field进行匹配,可返回document,得到查询的结果集. Lucene更像是一个SDK. 有完整的API族以及对应的实现.你可以利用这些在自己的应用里实现高级查询(基于倒排索引技术的),Lucene对单机或者桌面应用很实用很方便.但是Lucene,需要开发者自己维护索引文件,在多机环境中备份同步索引文件很是麻烦.于是,就有了Solr. 而So

ES &amp;&amp; Lecence介绍[转]

https://www.jianshu.com/p/40ec55c6e614 备注 1. Lucene介绍 为了更深入地理解ElasticSearch的工作原理,特别是索引和查询这两个过程,理解Lucene的工作原理至关重要.本质上,ElasticSearch是用Lucene来实现索引的查询功能的. 1.1 定义 Lucene是一个成熟的.高性能的.可扩展的.轻量级的,而且功能强大的搜索引擎包.Lucene的核心jar包只有一个文件,而且不依赖任何第三方jar包.更重要的是,它提供的索引数据和检

ElasticSearch学习总结(二):ES介绍与架构说明

本文主要从概念以及架构层面对Elasticsearch做一个简单的介绍,在介绍ES之前,会先对ES的"发动机"Lucene做一个简单的介绍 1. Lucene介绍 为了更深入地理解ElasticSearch的工作原理,特别是索引和查询这两个过程,理解Lucene的工作原理至关重要.本质上,ElasticSearch是用Lucene来实现索引的查询功能的. 1.1 定义 Lucene是一个成熟的.高性能的.可扩展的.轻量级的,而且功能强大的搜索引擎包.Lucene的核心jar包只有一个文