solr4.9同步mysql数据

Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。

可以将数据库中的数据导入到solr中,对于百万级别的数据可以快速响应查询。

1、安装jdk

JDK版本需要1.7以上

2、安装solr

下载solr压缩包,解压安装包,进入到SOLR_HOME\example目录下,运行命令java –jar start.jar启动solr

Solr默认端口为8983,访问http://localhost:8983/solr,若有如下界面,则启动成功

3、导入并更新数据相关配置

Solr提供了将数据库数据导入到solr索引库的功能(dataimport)

3.1、下载数据库驱动包

下载mysql的驱动包,并放在{%SOLR_HOME%}contrib\dataimporthandler\lib目录下

3.2、配置solrconfig.xml

3.2.1、引用相关库

solrconfig.xml包含了用于配置自身行为的绝大部分参数,其作用范围是当前core。位置在文件目录该文件位于{%solr_home%} example\solr\collection1\conf下。

数据导入需要引用mysql的驱动包和DataImport所需的包。

在文件中添加如下内容:

<libdir="../../../contrib/dataimporthandler/lib"regex=".*\.jar" />

<lib dir="../../../dist/"regex="solr-dataimporthandler-\d.*\.jar" />

3.2.2、配置requestHandler

在solrconfig.xml中加入如下配置:

<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">

<lst name="defaults">

<str name="config">data-config.xml</str>

</lst>

</requestHandler>

3.3、配置schema.xml

Schema.xml可以灵活的配置不同类型的字段,所在位置与solrconfig.xml同级。

导入数据需要配置与数据库中字段一致的类型,在配置文件中

3.3、配置数据源

在与solrconfig.xml同级目录下({%solr_home%}example\solr\collection1\con),建立与3.2.2中配置中同名的数据配置文件data-config.xml,

并添加如下内容

<dataConfig>

<!-- driver: 数据库驱动名

url:数据库路径

user:数据库用户

password:数据库密码

batchSize:防止在导入数据过程中内存溢出

-->

<dataSource type="JdbcDataSource"

driver="com.mysql.jdbc.Driver"

url="jdbc:mysql://localhost/exercise"

user="root"

password=""

batchSize="-1"/>

<document>

<!--要导入的表,可以配置多个

并查询出要建立索引的字段

-->

<entity name="customerinfo" query="selectcustomerID,customerName,PID,telephone from customerinfo">

<field column="customerID" name="id"/>

<field column="customerID" name="customerID"/>

<field column="customerName"name="customerName"/>

<field column="PID" name="PID"/>

<field column="telephone" name="telephone"/>

</entity>

</document>

</dataConfig>

4、导入数据

访问solr界面

Command选择full-import,Entity选择要导入的表,再点击Execute便可导入数据

完成后会提示索引建立完成。

然后在Query界面可以输入相关查询条件进行查询

时间: 2024-11-12 03:22:10

solr4.9同步mysql数据的相关文章

[jjzhu学java]之solr4.9同步mysql数据

Solr是一个高性能,採用Java5开发,基于Lucene的全文搜索server.同一时候对其进行了扩展,提供了比Lucene更为丰富的查询语言,同一时候实现了可配置.可扩展并对查询性能进行了优化,而且提供了一个完好的功能管理界面,是一款很优秀的全文搜索引擎. 能够将数据库中的数据导入到solr中,对于百万级别的数据能够高速响应查询. 1.安装jdk JDK版本号须要1.7以上 2.安装solr 下载solr压缩包,解压安装包.进入到SOLR_HOME\example文件夹下,执行命令java

solr5.5.4 增量索引 自动同步mysql数据

前言:之前测试了solr好几个版本都没有成功,solr比较好下载的版本5.0,5.5,6.6.solr6.6结合tomcat8做自动同步mysql数据一直报错,然后果断测试5.5版本的,成功了. 环境:windows10, jdk1.8,tomcat8,solr5.5.4 实现功能:通过前端输入关键字查询,同时查询多表多字段.当数据库mysql添加或者更新数据的时候,数据自动更新到solr引擎中. 正文: 第一步:下载solr 1.solr5.5下载:http://apache.fayea.co

logstash增量同步mysql数据到es

本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢,logstash是众多同步mysql数据到es的插件中,最稳定并且最容易配置的一个. input { stdin { } jdbc { type => "xxx" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/yinhela

logstash同步mysql数据到Elasticsearch

安装logstash查看我的另一篇文章  Docker 部署 logstash 同步数据我们首先需要安装好对应的插件,然后下载对应的数据库链接jar包,下面是具体的步骤 1.进入容器中 docker exec it logstash bash 2.进入到bin 目录下,我这里是/usr/share/logstash/bin,可以看到logstash-plugin文件,然后安装插件 logstash-plugin install logstash-input-jdbc 3.看到如下输出,则表示安装

10.Solr4.10.3数据导入(DIH全量增量同步Mysql数据)

转载请出自出处:http://www.cnblogs.com/hd3013779515/ 1.创建MySQL数据 create database solr; use solr; DROP TABLE IF EXISTS student; CREATE TABLE student ( id char(10) NOT NULL, stu_name varchar(50) DEFAULT NULL, stu_sex int(1) DEFAULT NULL, stu_address varchar(20

solr的DIH操作同步mysql数据

1.创建MySQL数据 CREATE TABLE `city` ( `id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '城市编号', `province_id` INT(10) UNSIGNED NOT NULL COMMENT '省份编号', `city_name` VARCHAR(25) NULL DEFAULT NULL COMMENT '城市名称', `description` VARCHAR(25) NULL DEFAULT N

【记录】ELK之logstash同步mysql数据到Elasticsearch ,配置文件详解

本文出处:https://my.oschina.net/xiaowangqiongyou/blog/1812708#comments 截取部分内容以便学习 input { jdbc { # mysql相关jdbc配置 jdbc_connection_string => "jdbc:mysql://10.112.76.30:3306/jack_test?useUnicode=true&characterEncoding=utf-8&useSSL=false" jdb

sqoop同步mysql数据到hive中

一.sqoop 在同步mysql表结构到hive sqoop create-hive-table --connect jdbc:mysql://ip:3306/sampledata --table t1--username dev --password 1234 --hive-table t1; 执行到这一步就退出了,但是在hadoop的hdfs上的/hive/warehouse/的目录下是找不到t1表的目录, 但是正常执行完成是下面这样的: 错误就是hive的jar包有缺失 全部的jar包该是

Elasticsearch-jdbc批量同步mysql数据失败

最近公司系统中全模糊查询很多,数据量又大,多表连接查询时会很影响性能.于是考虑使用搜索引擎来做全模糊查询,思路: mysql数据库数据同步至ES类型,同步采用全量同步+定时增量方式,应用直接从ES中去查询想要的结果. 通过一番查找,决定使用elasticsearch-jdbc进行数据的同步,五六张表的连接结果,在数据量小的开发与测试环境运行正常,但在数据量比较大的性能测试环境做数据同步的话就会出现问题,以下为同步时报的一些错,github上也未找到相关有用的东西.群里问也都没人这样使用. 一种报