solr入门:导入数据

一、连接MySql

MySQL java connector 下载地址,下载后放于solr运行库中。

cp /tmp/mysql-connector-java-5.1.30.jar /usr/share/tomcat6/webapps/solr/WEB-INF/lib/

打开并编辑solr配置文件{solr/home}:

vim /home/solr-index/collection1/conf/solrconfig.xml

增加以下内容(建议加在requestHandler区域后,方便管理。):

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">data-config.xml</str>
  </lst>
</requestHandler>

新建data-config.xml文件,该文件名为上述配置文件中添加的文件。

vim /home/solr-index/collection1/conf/data-config.xml

在data-config.xml中写入配置内容:

<?xml version="1.0" encoding="utf-8"?>
<dataConfig> 
  <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" 
              url="jdbc:mysql://localhost:3306/db_example"
              user="root" 
              password="123456"/>  
  <document name="search"> 
    <entity name="view_table" pk="id" query="select * from s_table"> 
      <field column="id" name="id"/>
      <field column="title" name="title"/>
      <field column="content" name="content"/>
    </entity> 
  </document> 
</dataConfig>

上述配置文件中dataSource为数据库连接所需,其中url为数据库所在地址,db_example为当前连接所打开的数据库名。user、password分别对应连接数据库的帐号和密码。entity中所执行的为导入数据所需的sql查询语句,可以同时创建多个entity,field为查询得到的字段,也可根据需求同时创建多条。

重启tomcat

service tomcat6 restart

二、连接SQL server

同理,下载SQL server驱动引擎,因为JDBC兼容比较纠结,为了兼容SQL Server2000所以选用jTDS。下载后jar文件放于solr运行库中。

cp /tmp/jtds-1.3.1.jar /usr/share/tomcat6/webapps/solr/WEB-INF/lib/

打开并编辑solr配置文件{solr/home}:

vim /home/solr-index/collection2/conf/solrconfig.xml

在data-config.xml中写入配置内容:

<?xml version="1.0" encoding="utf-8"?>
<dataConfig> 
  <dataSource type="JdbcDataSource" driver="net.sourceforge.jtds.jdbc.Driver" 
              url="jdbc:jtds:sqlserver://127.0.0.1:1433/db_example2" 
              user="root" 
              password="123456"/>  
  <document name="search"> 
    <entity name="view_table" pk="id" query="select * from s_table"> 
      <field column="id" name="id"/>
      <field column="title" name="title"/>
      <field column="content" name="content"/>
    </entity> 
  </document> 
</dataConfig>

配置基本同mysql,重启tomcat。

service tomcat6 restart
时间: 2024-10-06 19:47:56

solr入门:导入数据的相关文章

solr连接数据库导入数据

本文简单讲诉 solr建立全文索引,从数据库导入数据,生成索引文件,本文建立在已经搭建好solr应用的情况下,如要了解如何部署solr服务可先看上一文:solr 安装 环境:jdk 7,solr4.10.1 ,tomcat 7 附:参考文档地址:http://wiki.apache.org/solr/DataImportHandler 1,首先在solrconfig.xml中引入dataimport 路径 : E:\solr\example\solr\collection1\conf <requ

Solr之搭建Solr5.2.1服务并从Mysql上导入数据

一.开启Solr服务 1.首先从solr官网下载solr-5.2.1.tgz包,解压之后为solr-5.2.1. 2.读取README.txt可知通过bin/solr start命令开启solr服务,当然可以将solr-5.2.1/bin加入环境变量里面.此时开启的服务是放在jetty下的服务,也可以放在Tomcat下,只是感觉那样挺麻烦,还需要再下载一个Tomcat包. 3.开启服务之后,默认是开启8983端口,此时就可以使用localhost:8983/solr/进行访问了:如果不能访问,通

Solr配置导入MySQL数据

1. 编写配置文件 1)编写data-config-comment.xml,此文件用于描述如何查询MySQL数据,如何将数据变换导入索引. 假设有一个数据库叫mooc,其中有个表叫comment,代表学生的评论 其中: entity对应MySQL数据库表中的一行 query对应全库导入的SQL查询 queryImportQuery 对应增量导入的SQL查询 deltaQuery对应增量导入获取最新修改的行ID,这些ID用于queryImportQuery,SQL的含义中 DATE(updatet

solr特点六: DIH (从数据源导入数据)

在这个结构化数据和非结构化数据的数量都很庞大的年代,经常需要从数据库.XML/HTML 文件或其他数据源导入数据,并使数据可搜索.过去,要编写自定义代码才能创建到数据库.文件系统或 RSS 提要的自定义连接.但现在,Solr 的 DataImportHandler(DIH)填补了这个空白,它使您能够从数据库(通过 JDBC).RSS 提要.Web 页面和文件中导入数据.DIH 位于 apache-1.3.0/contrib/dataimporthandler 中,是 apache-1.3.0/d

解决Solr增量导入MySQL数据的问题

步骤一:在solrconfig.xml中插入一个新的requestHandler,增加如下几行 <requestHandler name="/dataimportcommentdelta" class="org.apache.solr.handler.dataimport.DataImportHandler">  <lst name="defaults">  <str name="config"&

solr搜索之mysql导入数据到solr(四)

1      mysql导入数据到solr 方式一:创建项目,查询出数据,一条一条add到solr中:(不推荐) 方式二:通过配置复制数据到solr中 以上已完成了在本地window8中对solr的部署,为solr添加了一个自定义的coredemo,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 1.1    准备工作 1.1.1     准备数据源 mysql数据源:test库中的user表(7条数据),其中这个update_time字段是用于solr更新数据库

Solr入门和实践以及我对Solr的8点理解

友情提示Solr的内容还是比较多的,一篇文章只能讲解一部分.全面介绍,没兴趣,没时间,也没能力,回报还不大.本文只写点我认为比较重要的知识点,独特的个人想法.仅供参考哦,更多细节需要自己去琢磨. 概述Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置.可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎. 工作方式文档通过Http利用XML 加到一个搜索集

使用Solr索引MySQL数据

环境搭建 1.到apache下载solr,地址:http://mirrors.hust.edu.cn/apache/lucene/solr/ 2.解压到某个目录 3.cd into D:\Solr\solr-4.10.3\example 4.Execute the server by “java -jar startup.jar”Solr会自动运行在自带的Jetty上 5.访问http://localhost:8983/solr/#/ 创建MySQL数据 DataBase Name: mybat

solr6.6教程-从mysql数据库中导入数据(三)

整理多半天的solr6.6,终于算是把solr6.6中配置数据库弄出来了,网上的文章千篇一律,各说个的,没有一篇统一覆盖solr6.6版本配置的 帖子,本章节我会把配置的一些注意事项一一列举,由于时间原因,本片只介绍如何一次性导入数据,不附带增量导入,想看增量的同学可以在后面的文章中. 1,配置准备 本文的前提是你已经配置好了solr,并新创建了一个core,我们下面都会按照前一篇文章中的core_demo为基础开始 2,修改soreconfig.xml 在soreconfig.xml的<req