使用solr搭建你的全文检索

企业应用

Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟？那么建议先看看下面两篇文档：<o:p></o:p>

实战Lucene，第 1 部分: 初识 Lucene：http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/<o:p></o:p>

用Lucene加速Web搜索应用程序的开发：http://www.ibm.com/developerworks/cn/web/wa-lucene2/<o:p></o:p>

<o:p> </o:p>

solr介绍

solr是基于Lucene Java搜索库的企业级全文搜索引擎，目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里，例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services，我们的应用需要通过这个服务与solr进行交互。<o:p></o:p>

solr安装和配置

关于solr的安装和配置，这里也有两篇非常好的文档，作者同时也是 Lucene Java 项目的提交人和发言人：<o:p></o:p>

使用Apache Solr实现更加灵巧的搜索：http://www.ibm.com/developerworks/cn/java/j-solr1/index.html<o:p></o:p>

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html<o:p></o:p>

下面主要说说需要注意的地方。<o:p></o:p>

Solr的安装非常简单，下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录（example目录下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

xml 代码

<Context docBase="D:/solr.war" debug="0" crossContext="true" >
   <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />
</Context>

<o:p></o:p>

<o:p></o:p>

观察这个指定的solr主位置，里面存在两个文件夹：conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。<o:p></o:p>

schema.xml主要包括types、fields和其他的一些缺省设置。<o:p></o:p>

solrconfig.xml用来配置Solr的一些系统属性，例如与索引和查询处理有关的一些常见的配置选项，以及缓存、扩展等等。<o:p></o:p>

上面的文档对这两个文件有比较详细的说明，非常容易上手。注意到schema.xml里有一个

xml 代码

<uniqueKey>url</uniqueKey>

的配置，这里将url字段作为索引文档的唯一标识符，非常重要。<o:p></o:p>

加入中文分词

对全文检索而言，中文分词非常的重要，这里采用了qieqie庖丁分词（非常不错：））。集成非常的容易，我下载的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。

java 代码

/**
 * Created by IntelliJ IDEA.
 * User: ronghao
 * Date: 2007-11-3
 * Time: 14:40:59
 * 中文切词  对庖丁切词的封装
 */
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
    /**
     * 最多切分   默认模式
     */
    public static final String MOST_WORDS_MODE = "most-words";
    /**
     * 按最大切分
     */
    public static final String MAX_WORD_LENGTH_MODE = "max-word-length";  

    private String mode = null;  

    public void setMode(String mode) {
            if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
                    || "default".equalsIgnoreCase(mode)) {
                this.mode=MOST_WORDS_MODE;
            } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
                this.mode=MAX_WORD_LENGTH_MODE;
            }
            else {
                throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);
            }
        }  

    @Override
    public void init(Map<String, String> args) {
        super.init(args);
        setMode(args.get("mode"));
    }  

    public TokenStream create(Reader input) {
        return new PaodingTokenizer(input, PaodingMaker.make(),
                createTokenCollector());
    }  

    private TokenCollector createTokenCollector() {
        if( MOST_WORDS_MODE.equals(mode))
            return new MostWordsTokenCollector();
        if( MAX_WORD_LENGTH_MODE.equals(mode))
            return new MaxWordLengthTokenCollector();
        throw new Error("never happened");
    }
}

<o:p></o:p>

<o:p></o:p>

在schema.xml的字段text配置里加入该分词器。<o:p></o:p>

xml 代码

<fieldtype name="text" class="solr.TextField" positionIncrementGap="100">
           <analyzer type="index">
               <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
               <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
               <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>
               <filter class="solr.LowerCaseFilterFactory"/>
               <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
           </analyzer>
           <analyzer type="query">
               <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>
               <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
               <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
               <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>
               <filter class="solr.LowerCaseFilterFactory"/>
               <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
           </analyzer>
       </fieldtype>
   </types>

<o:p></o:p>

完成后重启tomcat，即可在http://localhost:8080/solr/admin/analysis.jsp<o:p></o:p>

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下，注意修改jar包里字典的home。<o:p></o:p>

与自己的应用进行集成

Solr安装完毕，现在可以将自己的应用与solr集成。其实过程非常的简单，应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。<o:p></o:p>

应用删除数据-->根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。<o:p></o:p>

检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。<o:p></o:p>

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示，非常方便。<o:p></o:p>

关于中文，solr内核支持UTF-8编码，所以在tomcat里的server.xml需要进行配置<o:p></o:p>

xml 代码

<Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>

<o:p></o:p>

另外，向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码，然后用“+”连接。<o:p></o:p>

java 代码

String[] array = StringUtils.split(query, null, 0);
for (String str : array) {
result = result + URLEncoder.encode(str, "UTF-8") + "+";
}

<o:p></o:p>

时间： 2024-11-03 07:30:22

使用solr搭建你的全文检索的相关文章

利用SOLR搭建企业搜索平台 之——MultiCore

Solr Multicore 是 solr 1.3 的新特性.其目是一个solr实例,可以有多个搜索应用. 下面着手来将solr给出的一个example跑出来.这篇文章是基于<利用SOLR搭建企业搜索平台 之——运行solr>,有不明白的请参见http://lianj-lee.javaeye.com/blog/424383 1. 找到solr下载包中的example文件夹,在它的下面有个multicore文件夹,将这个文件夹下面的所有东西copy到 c:/solr-tomcat/solr下面.

zookeeper和solr搭建集群分片查询

这几天双十一弄得不要不要的.各种困.出差有一些时间.晚上回头摆弄摆弄.白天不忙就是找个地方想想写写.就这样一周多过去了.好了.不扯了入正题. 1 .环境搭建 MacBook pro 15款840 OS X 10.10.5 solr-5.2.1.tgz zookeeper-3.4.6.tar.gz VMWare Fusion8 Centos 6.7 2 .搭建solr集群. 在之前说过zookeeper集群的搭建,所以在这就别啰嗦了.基本是一样的.不过因为之前搭建过rabbitmq集群,改了一些配

Solr 搭建搜索服务器

一.安装配置所需JDK和Tomcat和安装包solr-4.2.1.tgzTomcat安装目录 /usr/local/tomcat修改Tomcat支持中文# vi /usr/local/tomcat/conf/server.xml<Connector port="8080" URIEncoding="UTF-8" /># tar xvf /root/solr-4.2.1.tgz# cp /root/solr-4.2.1/dist/solr-4.2.1.wa

windows 下tomact,jdk solr 搭建solr

工具: jdk8.0(solr6.1.0必须装jdk8.0,开始装的7.0最后卸了)下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html solr6.1.0 http://www.apache.org/dyn/closer.lua/lucene/solr/6.1.0 tomact (我下的8.5)http://tomcat.apache.org/ 步骤: 1.先安装jdk,保证在cmd

利用SOLR搭建企业搜索平台 之——solr的查询语法

  1. 首先假设我的数据里fields有:name, tel, address 预设的搜寻是name这个字段, 如果要搜寻的数据刚好就是 name 这个字段,就不需要指定搜寻字段名称. 2. 查询规则: 如欲查询特定字段(非预设字段),请在查询词前加上该字段名称加 “:” (不包含”号) 符号, 例如: address:北京市海淀区上地软件园 tel:88xxxxx1 1>. q代表query input 2>. version代表solr版本(建议不要变动此变量) 3>. start

利用SOLR搭建企业搜索平台 之——运行solr

 1. 首先下载好solr,我用的是 solr1.3,下载地址: windows版本 http://labs.xiaonei.com/apache-m ... ache-solr-1.3.0.zip  linux版本 http://labs.xiaonei.com/apache-m ... ache-solr-1.3.0.tgz  2. 准备运行容器,我用的是tomcat6.0.20.如果是玩的话,也可以不用准 备专门的容易,你只需解压好solr的下载包,找到 example文件夹,然后运行 s

利用SOLR搭建企业搜索平台 之——配置文件

运行solr是个很简单的事,如何让solr高效运行你的项目,这个就不容易了.要考虑的因素太多.这里很重要一个就是对solr的配置要了解.懂得配置文件每个配置项的含义,这样操作起来就会如鱼得水! 在solr里面主要的就是solr的主目录下面的 schema.xml,solrConfig.xml,如果你看过前两篇文章的话,你应该知道solr的主目录处于什么位置(c:/solr- tomcat/solr/conf/). 在这个文章中,我们首先来说说这个schema.xml. schema.xml,这个

Solr - 搭建与调试

Solr 必须运行在Java1.6 或更高版本的Java 虚拟机中,运行标准Solr 服务只需要安装JRE 即可, 但如果需要扩展功能或编译源码则需要下载JDK 来完成.可以通过下面的地址下载所需JDK 或JRE : OpenJDK ( http://java.sun.com/j2se/downloads.html ) Sun (http://java.sun.com/j2se/downloads.html ) IBM (http://www.ibm.com/developerworks/jav

利用SOLR搭建企业搜索平台 之——solr配置solrconfig.xml

solrconfig.xml这个配置文件可以在你下载solr包的安装解压目录的E:\Work\solr-4.2.0-src-idea\solr\example\solr\collection1\conf中找到,这个配置文件内容有点多,主要内容有:使用的lib配置,包含依赖的jar和Solr的一些插件;组件信息配置;索引配置和查询配置,下面详细说一下索引配置和查询配置. 1索引indexConfig Solr 性能因素,来了解与各种更改相关的性能权衡. 下表概括了可控制 Solr 索引处理的各种因