Lucene in action 第一章 初识Lucene

1.3 搜索程序组件

Lucene提供搜索程序的最核心模块：索引模块和搜索模块的类库。

Solr基于Lucene，提供更丰富的UI和API可以直接部署和使用

下图为搜索程序的基本框架。中间黑体部分为Lucene完成的功能，也是搜索引擎的最核心部分。

搜索引擎评价：

　　满足基本功能：搜索结果正确显示

　　搜索回复时间

　　扩展功能：语法纠错，关键词高亮等

1.3.1索引组件

搜索引擎原理：

　　朴素思想：顺序搜索

　　问题：速度太慢

　　解决：对文本内容建立索引，通过索引返回结果

　　1.获取内容：

　　　　网页内容：爬虫工具

　　　　文件系统特定目录，数据库内容：容易获取

　　　　内容分散（文件系统，局域网内容等）：不易获取有

　　　　权限管理的系统：更复杂，需要获取root权限，获取权限列表，实现搜索的权限控制

　　内容获取要求以增量的形式运行：可以实时更新

　　Lucene不提供内容获取，完全依赖你自己的程序或第三方程序：

　　　　solr：支持数据库，xml，集成tika

　　　　nutch：网络爬虫

　　　　lily:solr+hadoop的分布式搜索系统

　　2.建立文档：

　　将所有格式的内容(各类文件，数据库的一条记录等)转换成Lucene识别的搜索引擎文档类：Document。document主要包括带值的域，例如标题title，正文content，作者author等等。可以自定义域，还可以运用语义分析器提取正文文本分别写入新的域。

　　3.文档分析：

　　对文档域值进行分析处理，以便索引。

　　主要为分词器和过滤器，实现例如统一大小写，提取词干，分词等操作。

　　4.文档索引：将分析的结果进行索引，添加到索引数据库

　　　倒排索引