Solr搜索技术

今日大纲

回顾上一天的内容：

倒排索引

lucene和solr的关系

lucene api的使用 CRUD

文档、字段、目录对象（类）、索引写入器类、索引写入器配置类、IK分词器

查询解析器、查询对象（用户要查询的内容）、索引搜索器（索引库的物理位置）、排名文档集合（包含得分文档数组）

六种高级查询（相似度查询）

分词器（扩展词典、停用词典）

分页

得分（激励因子（作弊））

高亮

排序

●    Solr简介、运行

●    Solr基本使用

●    Solr Core 配置

●    Solr高级功能

●    Solr与数据库交互

*****************************************************************************************************

1.    Solr 4.x简介

1.1    什么是Solr

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的文件，生成索引；也可以通过提出查找请求，并得到返回结果。

Solr实际上就是封装了lucene,提供更加强大的功能，更加方便的使用。（集群分布式）

1.2    下载solr

官网：http://lucene.apache.org/solr/

下载网址：http://www.apache.org/dyn/closer.cgi/lucene/solr/

下载solr

1.3    Solr包结构

打开 solr-4.10.2.zip，包含文件如下：

• contrib：
  使用solr功能，依赖相关jar包
• dist ：
  存放solr自己的jar包
  和solr.war
• docs ：
  文档目录
• example：
  存放solr案例

Solr案例主要由两部分组成：

1、Web应用程序部分。

主要负责对索引库中的数据进行各种操作，并提供Web形式的管理界面。它可以通过Solr内嵌的jetty服务器运行，也可以部署在其它的Web服务器（如：Tomcat）中运行。对应位置在：solr-4.10.2\example\webapps\solr.war

2、索引库部分。

主要负责用来存放索引数据，好比Lucene中的索引库文件。Solr可以同时拥有多个索引库。对应位置在：solr-4.10.2\example\solr\collection1

*****************************************************************************************************

2.    Solr安装运行

2.1    运行Solr服务器

2.1.1        内嵌jetty服务器方式

1、进入solr-4.10.2\example

2、通过 java -jar 运行 start.jar

3、通过jetty服务器
默认访问端口 8983 访问服务

浏览器中输入：http://localhost:8983/solr    进入管理页面

2.1.2        部署Tomcat服务器方式

1、部署Web应用程序：将solr-4.10.2/example/webapps/solr.war解压后，复制到tomcat/webapps下

2、在Tomcat中加入相关jar包：将"相关资料\jar包\solr在tomcat运行需要导入的jar包\lib"下的jar包复制tomcat/webapps/solr/WEB-INF/lib下

Jar包名：

slf4j-log4j12-1.7.2.jar

slf4j-api-1.7.6.jar

IKAnalyzer2012FF_u1.jar

commons-logging-1.1.1.jar

log4j-1.2.16.jar

3、创建索引库：将 solr-4.10.2/example/solr复制到
d:/mysolr/solr (目录随意)

4、在Tomcat中指定索引库目录：

（1）在tomcat/bin/catalina.bat 配置set "JAVA_OPTS=-Dsolr.solr.home=d:/mysolr/solr"
，但这种配置需要手动通过tomcat/bin/startup.bat运行

（2）在myeclipse配置tomcat启动参数
选择菜单：window->preferences->Tomcat7.x->JDK，配置 -Dsolr.solr.home=d:/mysolr/solr，这样就可以通过myeclipse运行tomcat

5、启动Tomcat后，浏览器中输入：http://localhost:8080/solr     进入管理页面，注意端口与Tomcat的端口一致

*****************************************************************************************************

2.2    Solr管理界面简介

2.2.1        Dashboard

控制面板：显示solr运行硬软件环境

2.2.2        logging

日志信息：显示相关日志信息

Logging 下的 Level 中查看临时改变日志设置

2.2.3        Core Admin

Core管理中心：所有索引库的管理界面，一个solr的core就好比是以前lucene的一个索引库

2.2.5        Core Selector

Core选择器：用于选择指定的Core，进行更详细的操作和管理

2.2.4        Theard Dump

线程堆栈：查看 JVM 中的所有活动线程

*****************************************************************************************************

3.    Solr基本使用

3.1    配置IK分词器

1、将IKAnalyzer-2012-4x.jar拷贝到WEB-INF\lib下

2、在D:\mysolr\solr\collection1\conf\schema.xml文件中添加fieldType：

<fieldType name="text_ik" class="solr.TextField">

<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>

</fieldType>

3、将指定名称的查询模式（比如：title）中的type="text_ik"

记得重启tomcat

4、通过Core Selector选择指定的core并选择Analysis进行分词器测试

*****************************************************************************************************

3.2    使用管理界面手动添加Documents

通过Core Selector选择指定的core并选择Documents

*****************************************************************************************************

3.3    使用管理界面的Query功能

通过Core Selector选择指定的core并选择Query

高亮显示（hl.fl:高亮显示的字段，hl.simple.pre:高亮标签，可自定义）

*****************************************************************************************************

4.    Solr Core配置详解

4.1    solr core的概念

一个core 就是一个索引的服务，里面包含大量功能（通过handler实现），
核心配置文件 schema.xml 和 solrconfig.xml

solrconfig.xml 是 core的搜索服务整体配置
（索引库的位置等等）

schema.xml 是索引的配置
（field等等）

4.2    solr.home标准目录结构

一个solr.home 可以有多个core

主要包含三个配置文件 solr.xml 、solrconfig.xml 、schema.xml

solr.xml：整个solr索引服务器下的整体配置，主要用来配置当前solr服务器下拥有多少core。

solrconfig.xml：每个core下的配置，例如配置索引库的位置

schema.xml：每个core下具体索引的配置，例如配置field

4.3    solr.xml 配置multicore

如果solr_home下没有solr.xml ,那么solr服务器默认回去寻找名称为collection1的core

如果solr.xml 没有任何配置，那么solr_home下每个文件夹就是一个core，在文件夹里面需要提供core.properties

配置 name=core的名称

可以在solr.xml 配置多个core，这样就不在需要core.properties

<solr>

<cores adminPath="/admin/cores">

<core name="core1" instanceDir = "core1" />

<core name="core2" instanceDir = "core2" />

</cores>

</solr>

adminPath 这是一个访问SolrCore 管理界面的相对URL路径

如果出错，要查看到solr启动的错误信息，需要载入log4j配置文件

4.4    core.properties

4.5    schema.xml

1、通过<field>节点定义建立索引查询数据的字段

name代表数据字段名称

type代表数据类型

indexed代表是否被索引

stored代表是否被存储

multiValued是否有多个值，如果字段可能有多个值，尽可能设为true

_version节点和_root节点建议保留，不要删除

2、通过<fieldType>节点定义数据类型

name指定的是节点定义的名称

class指向org.apache.solr.analysis中定义的类型名称

solr.TextField 允许用户通过分析器来定制索引和查询，分析器包括一个分词器（tokenizer）和多个过滤器（filter）

<analyzer>指定分词器

<!-- 自定义新的字段 -->

<field name="mao" type="text_ik" indexed="true" stored="true" multiValued="true"/>

<!-- 动态字段的定义，只要以yun开头，都可以使用这个字段 -->

<dynamicField name="yun*" type="text_ik" indexed="true" stored="true"/>

4.6    solrconfig.xml

1、lib 引入外部jar包

可以将 solr解压目录/contrib和dist 复制 solr.home 下

修改 lib的路径，引用到jar包

2、索引相关配置

<luceneMatchVersion> solr低层使用lucene版本

<dataDir> 配置索引文件位置，默认./data

<directoryFactory>配置索引的路径工厂

<indexConfig> 进行索引相关配置

3、Request Dispatcher请求转发器的配置

<requestHandler name="/select" class="solr.SearchHandler">

<requestHandler name="/query" class="solr.SearchHandler">

<requestHandler name="/get" class="solr.RealTimeGetHandler">

<requestHandler name="/update" class="solr.UpdateRequestHandler">

wt是通讯数据格式，indent是否缩进，df是默认搜索的字段
，q是查询条件

一般不会去改它，具体的设置还是通过外部的参数传入

*****************************************************************************************************

5.    SolrJ基本功能

5.1    SolrJ的概念

solr的客户端代码和solr服务器之间的增删改查索引操作是通过类似WebService接口API，所以在操作时，只要遵循一定的接口规范即可。

5.2    添加、修改索引

添加、修改索引使用相同的API

准备环境（注意）

第一步：
导入solrj jar包
到项目

第二步：
运行solr服务器

5.2.1        传统方式

/**

* 创建索引（传统方式）

*

* @throws IOException

* @throws SolrServerException

*/

@Test

public
void createIndex1() throws SolrServerException, IOException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

// 使用solr输入文档（SolrInputDocument）
创建文档对象

SolrInputDocument document = new SolrInputDocument();

// 添加字段到文档对象

document.addField("id", "3");

document.addField("title", "这是来自solrj客户端的第一个title");

document.addField("content", "这是来自solrj客户端的第一个content");

//添加文档到solr服务器对象

solrServer.add(document);

// 提交

solrServer.commit();

}

5.2.2        Bean注解方式

1、创建实体bean类，对实体数据Bean 添加 @Field注解，直接传递Bean

import org.apache.solr.client.solrj.beans.Field;

/**

* @author Administrator 文章实体Bean

*/

public
class Article {

@Field

private String id;

@Field

private String title;

@Field

private String content;

public String getId() {

return
id;

}

public
void setId(String id) {

this.id = id;

}

public String getTitle() {

return
title;

}

public
void setTitle(String title) {

this.title = title;

}

public String getContent() {

return
content;

}

public
void setContent(String content) {

this.content = content;

}

}

2、通过bean创建索引

/**

* 创建索引（Bean注解方式）

* @throws SolrServerException

* @throws IOException

*/

@Test

public
void createIndex2() throws IOException, SolrServerException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

for (int
i = 0; i < 30; i++) {

//创建bean

Article article = new Article();

//添加值

article.setId(""+i);

article.setTitle("这是来自solrj客户端的第一个title"+i);

article.setContent("这是来自solrj客户端的第一个content"+i);

//添加实体对象到solr服务器对象中

solrServer.addBean(article);

//提交

}

solrServer.commit();

}

*****************************************************************************************************

5.3    删除索引

5.3.1        根据id方式

/**

* 删除索引（根据id）

* @throws IOException

* @throws SolrServerException

*/

@Test

public
void deleteIndex1() throws SolrServerException, IOException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

//删除

solrServer.deleteById("2");

//提交

solrServer.commit();

}

5.3.2        Query表达式方式

/**

* 删除索引（根据Query表达式删除）

* @throws IOException

* @throws SolrServerException

*/

@Test

public
void deleteIndex2() throws SolrServerException, IOException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

// 删除

solrServer.deleteByQuery("id:1*");

// 提交

solrServer.commit();

}

*****************************************************************************************************

5.4    查询索引

5.4.1        传统方式

/**

* 查询索引（传统方式）

* @throws SolrServerException

*/

@Test

public
void queryIndex1() throws SolrServerException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

// 创建solr查询对象（solrquery）并且载入要查询的内容

SolrQuery solrQuery = new SolrQuery("title:这是");

// 添加返回结果的列

solrQuery.addField("id");

solrQuery.addField("title");

// 设置查询结果返回的行数

solrQuery.setRows(20);

// 设置排序方式

solrQuery.setSort("id", ORDER.desc);

// 开始查询，返回查询响应对象（QueryResponse）

QueryResponse response = solrServer.query(solrQuery);

// 通过查询响应对象（QueryResponse）获得结果

SolrDocumentList results = response.getResults();

// 对结果进行遍历，获得solr文档对象，并打印出结果

for (SolrDocument solrDocument : results) {

System.out.println(solrDocument.getFieldValue("id"));

System.out.println(solrDocument.getFieldValue("title"));

//List titles = (List) solrDocument.getFieldValue("title");

//System.out.println(titles.get(0));

System.out.println(solrDocument.getFieldValue("content"));

}

}

5.4.2        Bean注解方式

/**

* 查询结果（返回bean形式）

* @throws SolrServerException

*/

@Test

public
void queryIndex2() throws SolrServerException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

// 创建solr查询对象（solrquery）并且载入要查询的内容

SolrQuery solrQuery = new SolrQuery("title:这是");

// 设置返回结果的列

solrQuery.addField("id");

solrQuery.addField("title");

// 设置查询结果返回的行数

solrQuery.setRows(20);

// 开始查询，返回查询响应对象（QueryResponse）

QueryResponse response = solrServer.query(solrQuery);

// 通过查询响应对象（QueryResponse）获得结果（Bean返回形式）

List<Article> beans = response.getBeans(Article.class);

// 对结果进行遍历，并打印出结果

for (Article article : beans) {

System.out.println(article.getId());

System.out.println(article.getTitle());

System.out.println(article.getContent());

}

}

注意：如果配置schema.xml中配置指定的field的multiValued为true，其对应的实体Bean属性应为List，不然会出错。或者将multiValued的值改为false

*****************************************************************************************************

6.    SolrJ高级功能

6.1    多条件查询

//new SolrQuery("查询表达式")

SolrQuery solrQuery = new SolrQuery("title:3 or id:5");

6.1.1        常用查询语法（了解）

1、匹配所有文档：*:* （通配符？和*："*"表示匹配任意字符；"？"表示匹配出现的位置）

2、布尔操作：AND、OR和NOT布尔操作

3、子表达式查询（子查询）：可以使用"()"构造子查询。 比如：(make AND up) OR (french AND Kiss)

4、模糊查询、相似查询：
（1）一般模糊查询：title:titla~ 
（2）门槛模糊查询：对模糊查询可以设置查询门槛，门槛是0~1之间的数值，门槛越高表面相似度越高。title:titla~0.5

5、范围查询（Range Query）：Lucene支持对数字、日期甚至文本的范围查询。结束的范围可以使用"*"通配符。 
（1）日期范围（ISO-8601 时间GMT）：a_begin_date:[1990-01-01T00:00:00.000Z TO 1999-12-31T24:59:99.999Z] 
（2）数字：salary:[2000 TO *]

（3）文本：entryNm:[a TO a]

6、日期匹配：YEAR, MONTH, DAY, DATE (synonymous with DAY) HOUR, MINUTE, SECOND, MILLISECOND, and MILLI (synonymous with MILLISECOND)可以被标志成日期。 
（1）r_event_date:[* TO NOW-2YEAR]：2年前的现在这个时间
（2）r_event_date:[* TO NOW/DAY-2YEAR]：2年前前一天的这个时间

6.2    查询结果高亮处理

/**

* 查询结果（高亮模式）

*

* @throws SolrServerException

*/

@Test

public
void queryIndex5() throws SolrServerException {

// 使用HttpSolr服务端（HttpSolrServer）
创建solr服务器端对象

HttpSolrServer solrServer = new HttpSolrServer(

"http://localhost:8080/solr/core1");

// 创建solr查询对象（solrquery）并且载入要查询的内容

// new SolrQuery("查询表达式")

SolrQuery solrQuery = new SolrQuery("title:这是");

// 设置要查询的列

solrQuery.addField("id");

solrQuery.addField("title");

solrQuery.addField("content");

// 设置查询结果返回的行数

solrQuery.setRows(20);

/*************************高亮设置及查询********************************/

// 是否高亮

solrQuery.setHighlight(true);

// 摘要长度

solrQuery.setHighlightFragsize(50);

// 设置前后缀

solrQuery.setHighlightSimplePre("<font color=‘red‘>");

solrQuery.setHighlightSimplePost("</font>");

// 添加高亮的field

solrQuery.addHighlightField("title");

// 开始查询，返回查询响应对象（QueryResponse）

QueryResponse response = solrServer.query(solrQuery);

System.out.println(response.getResponse());

// 处理结果集
第一个Map的键是文档的ID，第二个Map的键是高亮显示的字段名

Map<String, Map<String, List<String>>> highlighting = response

.getHighlighting();

for (Map.Entry<String, Map<String, List<String>>> entry : highlighting.entrySet()) {

System.out.println("key:"+entry.getKey());

System.out.println("value:" + entry.getValue());

}

/***********************************************************/

}

*****************************************************************************************************

7.    Solr数据导入并索引

7.1    Solr导入数据库中的数据

1、建立数据库
，将 "solr搜索通过JDBC导入练习" 中article.sql 导入数据库

数据库 solr

用户名密码： root/123456

数据表 article

2、配置服务器core/conf/solrconfig.xml 添加导入handler

（1）将/dist目录复制到solr core 所在目录。

（2）在solrconfig.xml中添加

<lib dir="../dist/" regex="solr-dataimporthandler-\d.*\.jar" />

注意相对路径一定要正确

（3）在core/conf中新建配置文件 db-data-config.xml并写入内容：

<?xml version="1.0" encoding="UTF-8" ?>

<dataConfig>

<dataSource type="JdbcDataSource"

driver="com.mysql.jdbc.Driver"

url="jdbc:mysql://localhost:3306/solr"

user="root"

password="123456"/>

<document>

<entity name="id" query="select id,title,content from article"></entity>

</document>

</dataConfig>

（4）在solrconfig.xml中继续添加

<requestHandler name="/import" class="org.apache.solr.handler.dataimport.DataImportHandler">

<lst name="defaults">

<str name="config">db-data-config.xml</str>

</lst>

</requestHandler>

（5）将mysql驱动包
复制 tomcat/webapps/solr/WEB-INF/lib下

（6）启动服务，并访问http://localhost:8080/solr/#/core1/dataimport//import     点击Execute按钮

或者直接访问        http://localhost:8080/solr/core1/import?command=full-import

*****************************************************************************************************

8.        总结

1、solr的启动（jetty方式，tomcat方式）

2、solr的管理界面（添加数据，查询数据）

3、solr配置文件

（1） solr.xml --> 配置多个core（索引库）

（2） schema.xml --> 配置字段类型，特性
（3） solrconfig.xml --> 索引库的jar包，导入数据功能

4、solrj使用：使用java代码访问solr服务器 crud new HttpSolrServer("xxxx不要有#");

5、solr导入数据库数据
步骤

*****************************************************************************************************