solr连接数据库导入数据

本文简单讲诉 solr建立全文索引,从数据库导入数据,生成索引文件,本文建立在已经搭建好solr应用的情况下,如要了解如何部署solr服务可先看上一文:solr 安装

环境:jdk 7,solr4.10.1 ,tomcat 7

附:参考文档地址:http://wiki.apache.org/solr/DataImportHandler

1,首先在solrconfig.xml中引入dataimport 路径 : E:\solr\example\solr\collection1\conf

  <requestHandler name="/dataimport"  class="org.apache.solr.handler.dataimport.DataImportHandler">
     <lst name="defaults">
         <str name="config">data-config.xml</str>
     </lst>
  </requestHandler>

  如不知加在什么地方,可直接搜索requestHandler 有个name="/select"的加在上面即可

2,建立data-config.xml,即为刚才引入的数据库配置信息,根据配置与solrconfig.xml放在同一目录下

<?xml version="1.0" encoding="utf-8"?>
<dataConfig>
 <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
   url="jdbc:mysql://localhost:3306/test"
   user="root"
   password="root"/>
   <document name="product">
      <entity name="product" pk="id" query="select * from _product">
          <field column="id" name="id" />
          <field column="name" name="name" />
          <field column="keywords" name="keywords" />
          <field column="intro" name="intro" />
          <field column="description" name="description" />
          <field column="sn" name="sn" />
      </entity>
 </document>
</dataConfig>

配置数据库信息,配置要查询出的document

3,根据刚才document的配置在schema.xml中加入field的配置,关于field的配置解释这里先不做介绍

 <!-- for csop product 

    <field name="id"        type="string" indexed="true" stored="true" />
    <field name="name"        type="string" indexed="true" stored="true" />
    <field name="keywords"        type="string" indexed="true" stored="true" />
    <field name="description"      type="string" indexed="true" stored="true" />  -->

     <field name="intro"    type="string" indexed="true" stored="true" />
     <field name="sn"        type="string" indexed="true" stored="true" />
 <!-- for csop product over -->

由于其中一些字段solr默认配置已经给出,就不需要再添加

4,加入jar包

  a,将mysql的驱动jar包加入solr中,就是部署的tomcat的solr应用:\webapps\solr\WEB-INF\lib

  b,将dataimport的jar包加入solr中,dataimport 包位置 E:\solr\dist\solr-dataimporthandler-4.10.1.jar

5,重启tomcat

6,访问http://localhost:8983/solr/#/collection1/dataimport//dataimport(手动点击也一样),导出索引文件

7,查询验证

时间: 2024-10-31 12:14:17

solr连接数据库导入数据的相关文章

solr入门:导入数据

一.连接MySql MySQL java connector 下载地址,下载后放于solr运行库中. cp /tmp/mysql-connector-java-5.1.30.jar /usr/share/tomcat6/webapps/solr/WEB-INF/lib/ 打开并编辑solr配置文件{solr/home}: vim /home/solr-index/collection1/conf/solrconfig.xml 增加以下内容(建议加在requestHandler区域后,方便管理.)

Solr之搭建Solr5.2.1服务并从Mysql上导入数据

一.开启Solr服务 1.首先从solr官网下载solr-5.2.1.tgz包,解压之后为solr-5.2.1. 2.读取README.txt可知通过bin/solr start命令开启solr服务,当然可以将solr-5.2.1/bin加入环境变量里面.此时开启的服务是放在jetty下的服务,也可以放在Tomcat下,只是感觉那样挺麻烦,还需要再下载一个Tomcat包. 3.开启服务之后,默认是开启8983端口,此时就可以使用localhost:8983/solr/进行访问了:如果不能访问,通

Solr配置导入MySQL数据

1. 编写配置文件 1)编写data-config-comment.xml,此文件用于描述如何查询MySQL数据,如何将数据变换导入索引. 假设有一个数据库叫mooc,其中有个表叫comment,代表学生的评论 其中: entity对应MySQL数据库表中的一行 query对应全库导入的SQL查询 queryImportQuery 对应增量导入的SQL查询 deltaQuery对应增量导入获取最新修改的行ID,这些ID用于queryImportQuery,SQL的含义中 DATE(updatet

solr特点六: DIH (从数据源导入数据)

在这个结构化数据和非结构化数据的数量都很庞大的年代,经常需要从数据库.XML/HTML 文件或其他数据源导入数据,并使数据可搜索.过去,要编写自定义代码才能创建到数据库.文件系统或 RSS 提要的自定义连接.但现在,Solr 的 DataImportHandler(DIH)填补了这个空白,它使您能够从数据库(通过 JDBC).RSS 提要.Web 页面和文件中导入数据.DIH 位于 apache-1.3.0/contrib/dataimporthandler 中,是 apache-1.3.0/d

解决Solr增量导入MySQL数据的问题

步骤一:在solrconfig.xml中插入一个新的requestHandler,增加如下几行 <requestHandler name="/dataimportcommentdelta" class="org.apache.solr.handler.dataimport.DataImportHandler">  <lst name="defaults">  <str name="config"&

solr搜索之mysql导入数据到solr(四)

1      mysql导入数据到solr 方式一:创建项目,查询出数据,一条一条add到solr中:(不推荐) 方式二:通过配置复制数据到solr中 以上已完成了在本地window8中对solr的部署,为solr添加了一个自定义的coredemo,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 1.1    准备工作 1.1.1     准备数据源 mysql数据源:test库中的user表(7条数据),其中这个update_time字段是用于solr更新数据库

Solr连接数据库

要建立自己的全文检索,一般都需要从数据库导入数据,在原来配置的基础上,增加导入的功能 1.D:\apache-tomcat-7.0.27\solr\conf\solrconfig.xml中增加 Xml代码 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> <lst name="defaults&q

使用Solr索引MySQL数据

环境搭建 1.到apache下载solr,地址:http://mirrors.hust.edu.cn/apache/lucene/solr/ 2.解压到某个目录 3.cd into D:\Solr\solr-4.10.3\example 4.Execute the server by “java -jar startup.jar”Solr会自动运行在自带的Jetty上 5.访问http://localhost:8983/solr/#/ 创建MySQL数据 DataBase Name: mybat

solr6.6教程-从mysql数据库中导入数据(三)

整理多半天的solr6.6,终于算是把solr6.6中配置数据库弄出来了,网上的文章千篇一律,各说个的,没有一篇统一覆盖solr6.6版本配置的 帖子,本章节我会把配置的一些注意事项一一列举,由于时间原因,本片只介绍如何一次性导入数据,不附带增量导入,想看增量的同学可以在后面的文章中. 1,配置准备 本文的前提是你已经配置好了solr,并新创建了一个core,我们下面都会按照前一篇文章中的core_demo为基础开始 2,修改soreconfig.xml 在soreconfig.xml的<req