solr 数据导入

1、将jdbc的jar包和solr包中的DataImport的jar包拷贝到webapp中solr/WEB-INF/lib目录

/opt/tools/solr-4.10.3/dist目录中:
solr-dataimporthandler-4.10.3.jar
solr-dataimporthandler-extras-4.10.3.jar

2、添加数据库的驱动包 mysql-connector-java-5.1.36.jar 到webapp中solr/WEB-INF/lib目录

3、在/usr/local/solr4/solrhome/collection1/conf/solrconfig.xml 添加

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">    
    <lst name="defaults">    
      <str name="config">data-config.xml</str>          
    </lst>    
  </requestHandler>

4、配置数据源与solr的映射关系 /usr/local/solr4/solrhome/collection1/conf/data-config.xml

<?xml version="1.0" encoding="UTF-8" ?><dataConfig>
    <!--数据源-->
    <dataSource type="JdbcDataSource"
                driver="com.mysql.jdbc.Driver"
                url="jdbc:mysql://192.168.6.223:3307/blog"
                user="root"
                password="jalja"/>
    
    <!--索引库中的文档-->
    <document>
        <entity name="blog" query="SELECT id,title,author,content FROM article">
            <!-- field 数据库 与 solr域做映射 -->
            <field column="id" name="id"/>
            <field column="title" name="item_title"/>
            <field column="author" name="author"/>
            <field column="content" name="content"/>
        </entity>
    </document></dataConfig>

5、重启solr

6、执行导入

时间: 2024-08-26 07:20:21

solr 数据导入的相关文章

xml 特殊字符 导致的 solr 数据导入异常

一.问题 最近开发那边反应 solr 的数据好像一个月没有更新了,登陆到 solr 的服务器,查看日志,有以下的报错日志. org.apache.solr.handler.dataimport.DataImportHandlerException: Data Config problem: The reference to entity "xdm2" must end with the ';' delimiter. at org.apache.solr.handler.dataimpo

将数据库的数据导入solr索引库中

在solr与tomcat整合文章中,我用的索引库是mycore,现在就以这个为例. 首先要准备jar包:solr-dataimporthandler-4.8.1.jar.solr-dataimporthandler-extras-4.8.1.jar和mysql-connector-java-5.0.7-bin.jar这三个包到solr的tomcat的webapps\solr\WEB-INF\lib下 在这个文件夹的conf下配置两个文件,添加一个文件.先配置solrconfig.xml. 在该文

solr 4.8+mysql数据库数据导入 + mmseg4j中文全文索引 配置笔记

1.如何将solr部署,请参考之前的文章 2.按上述配置好后,在solr_home文件夹中,将包含collection1文件夹,这就是solr的一个实例.下面我们来看看collection1中的文件内容. collection1中包含conf和data两个子文件夹.data中包含tlog和index(如果没有也没关系,稍后再solr建立索引时,将会被创建).tlog是记录日志的文件夹,index是存放索引的文件夹.conf中包含lang文件夹和若干文件.lang文件夹中包含的是词库文件,但是so

solr 学习之数据导入

将数据库中的数据导入到我们的solr索引库中(DataImportHandler) 1.将jdbc的jar包和solr包中的DataImport的jar包拷贝到webapp中solr/WEB-INF/lib目录 /opt/tools/solr-4.10.3/dist目录中: solr-dataimporthandler-4.10.3.jar solr-dataimporthandler-extras-4.10.3.jar 2.添加数据库的驱动包 mysql-connector-java-5.1.

(solr系列:四)将mysql数据库中的数据导入到solr中

在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 准备工作: 1.mysql数据源:myuser库中的user表(8条数据) /* Navicat MySQL Data Transfer Source Server         : localhost Source Server Version : 50521 Source Host           : local

BugPhobia沟通篇章:Solr模式配置与数据导入调研

0x01 :Scrum Meeting特别说明 特别说明,考虑到编译原理课程考核的时间安排,每天开发时间急剧缩短以至于难以维系正常的Scrum Meeting,因此,将2015/12/13 00:00 A.M. ~ 2015/12/14 22:00 P.M.的Scrum Meeting合并,因此,第二次Scrum Meeting的开发时间为两天,此次将首先发布Solr模式配置与数据导入调研方便沟通工作的进一步开展 0x01 :模式配置说明(Schema.xml) 0x0100 :types段落定

Solr配置导入MySQL数据

1. 编写配置文件 1)编写data-config-comment.xml,此文件用于描述如何查询MySQL数据,如何将数据变换导入索引. 假设有一个数据库叫mooc,其中有个表叫comment,代表学生的评论 其中: entity对应MySQL数据库表中的一行 query对应全库导入的SQL查询 queryImportQuery 对应增量导入的SQL查询 deltaQuery对应增量导入获取最新修改的行ID,这些ID用于queryImportQuery,SQL的含义中 DATE(updatet

(二) solr 索引数据导入:xml格式

xml 是最常用的数据索引格式,不仅可以索引数据,还可以对文档与字段进行增强,从而改变它们的重要程度. 下面就是具体的实现方式: schema.xml的字段配置部分如下: <field name="id" type="string" stored="true" indexed="true"/> <field name="name" type="string" store

搜索引擎系列十:Solr(solrj 、索引API 、 结构化数据导入)

一.SolrJ介绍 1. SolrJ是什么? Solr提供的用于JAVA应用中访问solr服务API的客户端jar.在我们的应用中引入solrj: <dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>7.3.0</version> </dependency> 2. SolrJ的核