solr连接数据库配置

一般要搜索的信息都是被存储在数据库里面的,但是我们不能直接搜数据库,所以只有借助Solr将要搜索的信息在搜索服务器上进行索引,然后在客户端供客户使用。

一、链接数据库

1. SQL配置

拿SQL Server 为例,需要先下载Sql Server的jar包,下载地址:

http://msdn.microsoft.com/en-us/data/aa937724.aspx

解压缩之后将sqljdbc4.jar复制到webapps\solr\WEB-INF\lib下,也就是本例的:

D:\apache-tomcat-7.0.57\webapps\solr\WEB-INF\lib

2. 建立查询

然后在D:\apache-tomcat-7.0.57\webapps\solr\solr_home\collection1\conf下面新建一个配置文件:data-config.xml

然后在本目录下编辑配置文件:solrconfig.xml

找到很多个requestHandler节点,在最下面增加:

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
          <str name="config">D:\apache-tomcat-7.0.57\webapps\solr\solr_home\collection1\conf\data-config.xml</str>
    </lst>
</requestHandler>

要配置的内容就是刚才新建文件的路径。

3. 将初次下载的solr-4.10.2文件夹下的dist, contrib文件夹复制到TomCat根目录下:

4. 然后再次修改刚才编辑过的solrconfig.xml增加两个文件夹的配置并修改一些参数:

大约在75行默认有8个路径,但是路径不一定全对,顺着这个配置的路径去找文件夹,根据查找的层数修改这个路径配置,另增加一个新的配置,全文如下:

  <lib dir="../../../../../contrib/extraction/lib" regex=".*\.jar" />

  <lib dir="../../../../../dist/" regex="solr-cell-\d.*\.jar" />

  <lib dir="../../../../../contrib/clustering/lib/" regex=".*\.jar" />

  <lib dir="../../../../../dist/" regex="solr-clustering-\d.*\.jar" />

  <lib dir="../../../../../contrib/langid/lib/" regex=".*\.jar" />

  <lib dir="../../../../../dist/" regex="solr-langid-\d.*\.jar" />

  <lib dir="../../../../../contrib/velocity/lib" regex=".*\.jar" />

  <lib dir="../../../../../dist/" regex="solr-velocity-\d.*\.jar" />

  <lib dir="../../../../../dist/" regex="solr-dataimporthandler-\d.*\.jar" />

这个配置是根据本机推导出来的,大家根据自己的实际情况去修改。

5. 将dist文件夹下的

复制到webapps\solr\WEB-INF\lib下。

6. 然后编辑

D:\apache-tomcat-7.0.57\webapps\solr\solr_home\collection1\conf\data-confing.xml文件,以本机MyBookShop数据库的Books表为例

配置如下:

<?xml version="1.0" encoding="UTF8"?>
<dataConfig>
    <dataSource driver="com.microsoft.sqlserver.jdbc.SQLServerDriver" url="jdbc:sqlserver://localhost:1433;DatabaseName=MyBookShop" user="sa" password="111"/>
    <document name="Info" pk="id">
        <entity name="zpxx"  transformer="ClobTransformer" pk="id"
                 query="SELECT  [ID],[Title] as name  FROM [MyBookShop].[dbo].[Books]"
                 deltaImportQuery="SELECT  [Id],[Title] as name  FROM [MyBookShop].[dbo].[Books] where [PublishDate] > ‘${dataimporter.last_index_time}‘"
                 deltaQuery="SELECT  id FROM [MyBookShop].[dbo].[Books] where [PublishDate] > ‘${dataimporter.last_index_time}‘">
                    <field column="id"      name="id"      />
                    <field column="name"      name="name"      />
         </entity>
    </document>
</dataConfig>

此配置千万注意。

上述配置说明如下:

     query是获取全部数据的SQL(solr从sql中获取那些数据),多列

     deltaImportQuery是获取增量数据时使用的SQL(数据库新增数据追加到solr的数据),多列

     deltaQuery是获取pk的SQL(数据库新增数据是,追加到solr的数据时的条件,根据id ,条件是最后一次获取的时间,${dataimporter.last_index_time,最后获取的时间}),一列

保证SQL SERVER配置了外网访问即可。

配置到此基本结束。

二、建立索引

启动Solr,删除全部索引数据:

http://localhost:8080/solr/update/?stream.body=<delete><query>*:*</query></delete>&stream.contentType=text/xml;charset=utf-8&commit=true

停掉Solr,检查下是不是清空了:

开始创建新的索引,浏览器执行方式:

终止跑索引:http://localhost:8080/solr/collection1/dataimport?command=abort

开始索引:http://localhost:8080/solr/collection1/dataimport?command=full-import

增量索引 :http://localhost:8080/solr/collection1/dataimport?command=delta-import

建议学习时使用UI的方式进行更新,能看清运行过程:

需要等执行结束,可以点击【Refrush status】看结果:

Indexing completed. Added/Updated: 1076 documents. Deleted 0 documents. (Duration: 03s)

表示结束。

然后点击左边的查询检验索引结果:

出现查询结果表示创建成功。

三、更新索引、增加索引、删除索引

1. 更新数据:

我们先来搜索一个关键字“土豆”,这里全是计算机图书,不应该有土豆的。

然后将其中一个书籍的标题更新为“论土豆的栽培技术”

不更新索引是搜不到的。

执行增量更新:

http://localhost:8080/solr/dataimport?command=delta-import&clean=false&commit=true

然后去查询:

已经可以查询得到了。

2. 新增一个数据:“论苹果的艺术”

insert into [MyBookShop].[dbo].[Books]

(

[Title]
,[Author]
,[PublishDate]
,[WordsCount]
,[UnitPrice]
,[ContentDescription]
,[AurhorDescription]
,[EditorComment]
,[TOC]
)
SELECT ‘论苹果的艺术‘
,[Author]
,[PublishDate]
,[WordsCount]
,[UnitPrice]
,[ContentDescription]
,[AurhorDescription]
,[EditorComment]
,[TOC]
FROM [MyBookShop].[dbo].[Books] where id=4942

新增结果如下:

然后执行增量索引:

http://localhost:8080/solr/dataimport?command=delta-import&clean=false&commit=true

再查询:

发现新结果被查询出来了。

3. 删除数据

将苹果这条数据删除掉,仍然能够查询出来,执行单条索引删除:

7168&stream.contentType=text/xml;charset=utf-8&commit=true">http://localhost:8080/solr/update/?stream.body=<delete><id>7168</id></delete>&stream.contentType=text/xml;charset=utf-8&commit=true

再次查询就查不到了:

数据库下载

时间: 2024-12-18 14:53:42

solr连接数据库配置的相关文章

Solr连接数据库

要建立自己的全文检索,一般都需要从数据库导入数据,在原来配置的基础上,增加导入的功能 1.D:\apache-tomcat-7.0.27\solr\conf\solrconfig.xml中增加 Xml代码 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> <lst name="defaults&q

solr与.net系列课程(三)solr连接数据库

 solr与.net系列课程(三)solr连接数据库 上一章直接讲述的配置文件把大部分人看的很迷惑,大家都想听的是solr到底是怎么用的,好,这一节我们就开始链接数据库,首先讲一下连接之前都要配置哪些文件 1.先下载连接sqlserver的驱动(sqljdbc4.jar)sqljdbc4.jar,),将其复制到C:\Program Files\Apache Software Foundation\Tomcat 7.0\webapps\solr\WEB-INF\lib (C:\Program Fi

solr连接数据库导入数据

本文简单讲诉 solr建立全文索引,从数据库导入数据,生成索引文件,本文建立在已经搭建好solr应用的情况下,如要了解如何部署solr服务可先看上一文:solr 安装 环境:jdk 7,solr4.10.1 ,tomcat 7 附:参考文档地址:http://wiki.apache.org/solr/DataImportHandler 1,首先在solrconfig.xml中引入dataimport 路径 : E:\solr\example\solr\collection1\conf <requ

BugPhobia沟通篇章:Solr模式配置与数据导入调研

0x01 :Scrum Meeting特别说明 特别说明,考虑到编译原理课程考核的时间安排,每天开发时间急剧缩短以至于难以维系正常的Scrum Meeting,因此,将2015/12/13 00:00 A.M. ~ 2015/12/14 22:00 P.M.的Scrum Meeting合并,因此,第二次Scrum Meeting的开发时间为两天,此次将首先发布Solr模式配置与数据导入调研方便沟通工作的进一步开展 0x01 :模式配置说明(Schema.xml) 0x0100 :types段落定

solr scheme配置简介

solr 字段配置,和数据库数据索引配置 配置solr字段. schema.xml 文件里配置 先讲解一下,里面的一些字段 1. <types> ... </types> 表示类型,数据类型 <fieldType name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/> <fieldTyp

Solr的配置及从数据库建立索引

1 . Solr 简介 Solr 是一个基于 Lucene 的 Java 搜索引擎服务器. Solr 提供了层面搜索.命中醒目显示并且支持多种输出格式(包括 XML/XSLT 和 JSON 格式).它易于安装和配置,而且附带了一个基于 HTTP 的管理界面. Solr 已经在众多大型的网站中使用,较为成熟和稳定. Solr 包装并扩展了 Lucene ,所以 Solr 的基本上沿用了 Lucene 的相关术语.更重要的是, Solr 创建的索引与 Lucene 搜索引擎库完全兼容.通过对 Sol

Solr Suggest 配置

1.配置 <searchComponent  name="suggest" class="solr.SpellCheckComponent"> <str name="queryAnalyzerFieldType">string</str> <lst name="spellchecker"> <str name="name">suggest</

在Solr中配置中文分词IKAnalyzer

李克华 云计算高级群: 292870151 交流:Hadoop.NoSQL.分布式.lucene.solr.nutch 在Solr中配置中文分词IKAnalyzer 1.在配置文件schema.xml(位置{SOLR_HOME}/config/下),配置信息如下: <!-- IKAnalyzer 中文分词-->     <fieldType name="text_ik" class="solr.TextField">         <

TP【连接数据库配置及Model数据模型层】

[连接数据库配置及Model数据模型层] convertion.php config.php 在config.php做数据库连接配置 制作model模型 a) model本身就是一个类文件 b) 数据库中的每个数据表都对应一个model模型文件 c) 最简单的数据model模型类 .字段缓存设置 tp框架执行过程中会使用到数据表中的字段信息,通过sql语句可以查询”show colums from table”  ,处于性能考虑,可以把字段缓存,避免每次重复执行sql语句. 4.可以根据情况对当