Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作

上一篇介绍了单机版的搭建,现在来介绍集群版的搭建

什么是SolrCloud

SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud满足这些需求。

SolrCloud不同于redis集群自带集群,SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能:

1)集中式的配置信息

2)自动容错

3)近实时搜索

4)查询时自动负载均衡

SolrCloud结构
        SolrCloud为了降低单机的处理压力,需要由多台服务器共同来完成索引和搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多台的服务器共同完成,当一个索引或搜索请求过来时会分别从不同的Shard的服务器中操作索引。

SolrCloud需要Solr基与zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。

下图是一个SolrCloud应用的例子:

物理结构:

三个Solr实例( 每个实例包括两个Core),组成一个SolrCloud。

逻辑结构:

索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。

core:

每个Core是Solr中一个独立运行单位,提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

Master&Slave:

Master是master-slave构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的

SolrCloud搭建

1.先从hadoop-001复制已经配置好的Tomcat和solrhome到hadoop-002,hadoop-003,如下图

搭建环境

OS:CentOS 6.5

JDK:jdk 1.8.0

Tomcat:tomcat 8.5

zookeeper:zookeeper 3.4.6

solr:solr 7.7.2

让每一台solr和zookeeper关联:

修改每一份solr的tomcat的bin目录下的catalina.sh文件,加入DzkHost指定zookeeper服务器地址,将zookeeper地址列表作为参数传过去:



JAVA_OPTS="-DzkHost=hadoop-001:2181,hadoop-003:2181,hadoop-002:2181"



注:JAVA_OPTS赋值的位置一定要放在引用该变量之前,可以使用vim查找功能查找到JAVA_OPTS的定义位置,然后添加

访问solrCloud

访问集群中的任意一台solr均可,可以看到相较于单机版,多了一个Cloud:

在solrhome下·建立new_core文件夹

把/home/hadoop/solr-7.7.2/server/solr/configsets/_default/conf复制到该文件夹下面



cp -r /home/hadoop/solr-7.7.2/server/solr/configsets/_default/conf  /home/hadoop/solrhome/new_core



在solrconfig.xml上添加如下配置



<requestHandler name="/dataimport" class="solr.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>



新建data-config.xml文件如下



<?xml version="1.0" encoding="UTF-8" ?>
<dataConfig>
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://hadoop-001:3306/solr" user="root" password="123456" />
<document>
<entity name="product" query="select * from product">
<field column="pid" name="id" />
<field column="pname" name="pname" />
<field column="catalog" name="catalog" />
<field column="catalog_name" name="catalog_name" />
<field column="price" name="price" />
<field column="description" name="description" /> <field column="picture" name="picture" />
</entity>
</document>
</dataConfig>



在managed-schema上添加以下配置



<!-- Product -->
<!--配置从数据库导入到sorl中的数据的字段内容,所以每次要从数据库导入什么就需要配置什么-->
<field name="pname" type="text_ik" indexed="true" stored="true"/>
<field name="price" type="pfloat" indexed="true" stored="true"/>
<field name="description" type="text_ik" indexed="true" stored="false"/>
<field name="picture" type="string" indexed="false" stored="true"/>
<field name="catalog_name" type="string" indexed="true" stored="true"/>
<field name="keywords" type="text_ik" indexed="true" stored="false" multiValued="true" />
<copyField source="pname" dest="keywords" />
<copyField source="description" dest="keywords" />


solrCloud集群配置

使用zookeeper统一管理solr配置文件:

使用zookeeper统一管理solr的配置文件(主要是schema.xml、solrconfig.xml),solrCloud各各节点使用zookeeper管理的配置文件,由于这里是直接复制的之前单机版配置好的solrhome(添加了一个中文分词器,定义了业务域)所以配置文件就不需要再修改了,直接交给zookeeper管理就好了。

进入/home/hadoop/solr-7.7.2/server/scripts/cloud-scripts目录下:



/home/hadoop/solr-7.7.2/server/scripts/cloud-scripts/zkcli.sh  -zkhost hadoop-001:2181,hadoop-002:2181,hadoop-003:2181 -cmd upconfig -confdir /home/hadoop/solrhome/new_core/conf -confname productconf



如下图,即可创建collection

如下图·,关于new_core2,有三个shard分片,而shard1有一个主节点和一个备份节点

进行DIH操作

数据库数据文件如下

导入数据

查询如下:

原文地址:https://www.cnblogs.com/Transkai/p/11018947.html

时间: 2024-11-08 03:29:14

Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作的相关文章

centos6.5里搭建LVS+Keepalived(DR模式)集群

最近闲着,整理下以前搭建的服务.. 介绍还是百度下, LVS+Keepalived 介绍LVSLVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一.目前有三种IP负载均衡技术(VS/NAT.VS/TUN和VS/DR):十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq).KeepalviedKeepalived在这里主要用作

linux(ubuntu12.04)下搭建负载均衡和tomcat集群

上一篇博客我们搭建了nginx+tomcat的服务器配置,可是实现静态和动态分离,但是只有一个tomcat. 所以,接下来在我们的机器上搭建多个tomcat,首先我们先复制一份以前的tomcat(我的tomcat是在/usr/local/下),执行命令 cp /usr/local/tomcat1 /usr/local/tomcat2 应为要两个不同的tomcat使用不同的环境变量,所以我们需要修改/etc/profile的文件配置信息 sudo gedit /etc/profile 然后修改成这

CentOS6.5环境搭建分布式存储FastDFS-5.0.5集群详细过程

FastDFS架构简介 FastDFS是一款开源的.分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发.FastDFS 是包括一组 Tracker Server 和 Storage Server 的.Tracker Server 与 Storage Server 之间不直接通信,其基本的信息由配置文件在系统启动加载时获知.多台 Tracker Server 之间保证了 Tracker 的分布式,Tracker Server 之间是对等的,防止了单

CentOS 6.5 搭建Hadoop 1.2.1集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1.操作系统环境配置 1.1.操作系统环境 主机名 IP地址 角色 Hadoop用户 hadoop-master 192.168.30.50 Hadoop主节点 hadoop hadoop-slave01 192.168.30.51 Hadoop从节点 hadoop hadoop-slave02 192.168.30.52 Hadoop从节点 hadoop 1.2.关闭防火

CentOS6.2下搭建LNMP、安装wordpress(大神请远离)

CentOS6.2下搭建LNMP.安装wordpress参考文章:http://www.linuxidc.com/Linux/2014-08/105128.htm 早就给自己安排好了要做的事情,但是每天被繁琐的事情所忙,把去年该做的事情一直拖到了现在.终于在今天,小心脏多跳了几下,手一抖,开始下手去做了,结果半天就这样过去了.时间过得真快啊,尤其是在自己有事情做地时候.        好了,开始记录了,权做写的日记了       先上图,看下成果:(后台管理部分) (貌似很卡顿的样子,是不是该优

centos6.5下搭建fastdfs分布式存储

← 使用iftop监控linux网络流量 分布式文件系统FastDFS原理介绍 → centos6.5下搭建fastdfs分布式存储 2014-04-24 Venus FastDFSGo to comment fastDFS下载地址:http://code.google.com/p/fastdfs/downloads/listlibevent官网: http://libevent.org/ 目前最新版:https://github.com/downloads/libevent/libevent/

Centos6.8下搭建SVN服务器

1.Centos6.8下搭建SVN服务器 Subversion是一个自由,开源的版本控制系统.Subversion将文件存放在中心版本库里.这个版本库很像一个普通的文件服务器,不同的是,它可以记录每一次文件和目录的修改情况.这样就可以籍此将数据恢复到以前的版本,并可以查看数据的更改细节.Subversion是Apache基金会下的一个项目,官网 https://subversion.apache.org/ . 2.安装 yum -y install subversion 3.创建SVN版本库 m

使用Nginx1.9.9+Keepalived1.2.x搭建高可用负载均衡集群

一 简介以及原理介绍 (1)Nginx概念介绍: Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行.由俄罗斯的程序设计师Igor Sysoev所开发.其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度.京东.新浪.网易.腾讯.淘宝等 (2)Keepalived概念介绍: Keepalived的作用是检测服务器的状态,如果有一台we

部署AlwaysOn第一步:搭建Windows服务器故障转移集群

在Windows Server 2012 R2 DataCenter 环境中搭建集群之前,首先要对Windows服务器故障转移集群(Windows Server Failover Cluster,简称WSFC)有基本的了解.WSFC必须部署在域管理环境中,由多台服务器组成,每台服务器称作一个"结点"(Node),每个结点上都运行了Windows服务器故障转移集群服务,整个集群系统允许部分结点掉线.故障或损坏而不影响整个系统的正常运作.集群自动检测结点的健康状态,一旦活跃结点发生异常,变