zookeeperr3.4.5+tomcat7+solr-4.10.1分布式集群搭建

一、   说明

本次分布式部署solr是在两台服务器(10.21.16.31和10.21.16.34)上部署5个结点,10.21.16.31服务器部署3个结点,10.21.16.34服务器部署2个结点

二、   下载需要的工具包

zookeeper-3.4.5.tar.gz,tomcat-7.0.50.tar.gz,solr-4.10.1.tgz(jdk必须是7,可以使用系统自带的openJDK)

三、   添加用户

分别在两台服务器上添加solr用户

useradd  solr

passwd solr

四、   安装Zookeeper

1.切换到solr用户     su solr

2进入zookeeper的tar包目录:cd
 /home

2.解压tar包到指定目录:tar -zxvf  zookeeper-3.4.5.tar.gz

3.进入zookeeper的conf目录:cd /home/
zookeeper-3.4.5/conf

4.修改配置文件zoo_sample.cfg为zoo.cfg:mv 
zoo_sample.cfg  zoo1.cfg

5.修改配置文件zoo_sample.cfg为zoo.cfg:mv 
zoo_sample.cfg  zoo2.cfg

6.修改配置文件zoo_sample.cfg为zoo.cfg:mv 
zoo_sample.cfg  zoo3.cfg

5.修改zoo1.cfg配置文件内容:dataDir=/home/zookeeper-3.4.5/zk1ClientPort=2181,同时在zookeeper-3.4.5目录下新建zk1目录

6. 修改zoo2.cfg配置文件内容:dataDir=/home/zookeeper-3.4.5/zk2,ClientPort=2182,同时在zookeeper-3.4.5目录下新建zk2目录

7. 修改zoo3.cfg配置文件内容:dataDir=/home/zookeeper-3.4.5/zk3,ClientPort=2183,同时在zookeeper-3.4.5目录下新建zk3目录

6.在zoo1.cfg、zoo2.cfg、zoo3.cfg最后添加如下内容:

server.1=10.21.16.31:2888:3888

server.2=10.21.16.31:2889:3889

server.3=10.21.16.31:2890:3890

server.4=10.21.16.34:2888:3888

server.5=10.21.16.34:2889:3889

说明:server.X=A:B:C

其中X是一个数字, 表示这是第几号server.

A是该server所在的IP地址.

B配置该server和集群中的leader交换消息所使用的端口.

C配置选举leader时所使用的端口.

7.分别在zk1,zk2,zk3新建文件myid,zk1/myid文件值为1,zk2/myid文件值为2,zk3/myid文件值为3

8.将配置到的zookeeper-3.4.5拷贝到10.21.16.34服务器主机上

9.切换到10.21.6.34服务器的solr用户下

10..进入zookeeper的conf目录:cd 
/home/ zookeeper-3.4.5/conf

11.修改配置文件zoo1.cfg为zoo4.cfg:mv 
zoo1.cfg zoo4.cfg

12.修改配置文件zoo2.cfg为zoo5.cfg:mv 
zoo2.cfg zoo5.cfg

13.删除zoo3.cfg: rm  zoo3.cfg

14. 修改zoo4.cfg配置文件内容:dataDir=/home/zookeeper-3.4.5/zk4ClientPort=2184,同时在zookeeper-3.4.5目录下新建zk4目录

15. 修改zoo2.cfg配置文件内容:dataDir=/home/zookeeper-3.4.5/zk5ClientPort=2185,同时在zookeeper-3.4.5目录下新建zk5目录

16.修改zk4/myid文件值为4,zk5/myid文件值为5

17.分别在31和34上启动zookeeper,切换到bin目录下: cd /home/zookeeper-3.4.5/bin

18.在1上先后执行./zkServer.sh  start zoo1.cfg     ./zkServer.sh  start zoo2cfg   ./zkServer.sh 
start zoo3.cfg

19. 在34上先后执行./zkServer.sh  start zoo4.cfg     ./zkServer.sh  start zoo5.cfg

由于启动时,每个节点都会试图去连接其它节点,因此先启动的刚开始会连接不上其它的,导致日志中会包含错误信息,在未全启动之前,这个属正常现象。可以用./zkServer.sh status zoo1.cfg查看状态。至此zookeeper安装结束!

五、   安装Solr

1.  进入tomcat、solr的tar包目录:cd /home/solr

2.   解压tomcattar包: tar -zxvf 
tomcat-7.0.50.tar.gz

3.   重命名tomcat解压后文件名mv
tomcat-7.0.50 apache-tomcat-7.0.50_1

4.   解压solr  tar包:tar –zxvf  solr-4.10.1.tgz

5.   将solr-4.10.1/example/webapps/solr.war   到 apache-tomcat-8.0.12/webapps/目录中  直接解压 solr.war 或者启动tomcat 解压 solr.war

6.   新建data1目录:mkdir  data1

7.   将solr-4.10.1/example/solr文件夹移到data1中: mv  /home/solr/solr-4.10.1/example/solr  /home/solr/data1

8.   复制solr-4.10.1/example/lib/ext下的jar包到/home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF/lib:cp  -av  /home/solr/solr-4.10.1/example/lib/ext/*.jar  /home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF/lib

9.   在/home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF下新建classes文件夹:mkdir  classes

10. 将solr-4.10.1/example/resources/log4j.properties复制到/home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF/classes:mv  /home/solr/solr-4.10.1/example/resources/log4j.properties  /home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF/classes

11. 修改/home/solr/data1/solr/collection1/conf/solr/solrconfig.xml:vi /home/solr/data1/solr/collection1/conf/solr/solrconfig.xml

12. 修改内容如下:(1)<dataDir>${solr.data.dir:/home/solr/data1/solr/collection1/data}</dataDir>

(2)<lockType>simple</lockType>

(3)<unlockonStartup>启用,并修改为<unlockonStartup>true</unlockonStartup>

13. 修改/home/solr/data1/solr/solr.xml:vi  /home/solr/data1/solr/solr.xml

14. 修改内容如下:<intname="hostPort">${jetty.port:8081}</int>

15. 修改/home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF/web.xml:vi  /home/solr/apache-tomcat-7.0.50_1/webapps/solr/WEB-INF/web.xml

16. <env-entry>标签启用,同时修改为

<env-entry>

<env-entry-name>solr/home</env-entry-name>

<env-entry-value>/home/solr/data1/solr</env-entry-value>

<env-entry-type>java.lang.String</env-entry-type>

</env-entry>

17. 修改/home/solr/apache-tomcat-7.0.50_1/conf/server.xml:vi /home/solr/apache-tomcat-7.0.50_1/conf/server.xml

18. 将8080端口改为8081

19. 修改/home/solr/apache-tomcat-7.0.50_1/bin/catalina.sh:vi /home/solr/apache-tomcat-7.0.50_1/bin/catalina.sh

20. JAVA_OPTS属性启用,同时修改为JAVA_OPTS="$JAVA_OPTS-Dbootstrap_confdir=/home/solr/data1/solr/collection1/conf-Dcollection.configName=myconf
-Dbootstrap_config=true -DzkHost=10.21.16.31:2181,10.21.16.31:2182,10.21.16.31:2183,10.21.16.34:2184-DnumShards=2"

21. 复制apache-tomcat-7.0.50_1得到apache-tomcat-7.0.50_2、apache-tomcat-7.0.50_3

22. 分别修改apache-tomcat-7.0.50_2、apache-tomcat-7.0.50_3中webapps/solr/WEB-INF/web.xml、conf/server.xml、bin/catalina.sh相对应的值,注意:其中bin/catalina.sh应为JAVA_OPTS="$JAVA_OPTS-Dbootstrap_confdir=/home/solr/data2/solr/collection1/conf-DzkHost=10.21.16.31:2181,10.21.16.31:2182,10.21.16.31:2183,10.21.16.34:2184,如果是apache-tomcat-7.0.50_3中,则为JAVA_OPTS="$JAVA_OPTS
-Dbootstrap_confdir=/home/solr/data3/solr/collection1/conf-DzkHost=10.21.16.31:2181,10.21.16.31:2182,10.21.16.31:2183,10.21.16.34:2184

23. 复制data1得到data2、data3

24. 分别修改data2、data3中solr/collection1/conf/solr/solrconfig.xml、solr/solr.xml

25. 将apache-tomcat-7.0.50_2、apache-tomcat-7.0.50_3、data2、data3复制到34服务器上,分别修改为apache-tomcat-7.0.50_4、apache-tomcat-7.0.50_5、data4、data5,并做相应对应的更改,至此所有的配置都结束,启动5个结点的tomcat,访问任一结点下的solr,选择主界面上的cloud即可看见solr分布式部署情况!

时间: 2024-10-05 04:09:51

zookeeperr3.4.5+tomcat7+solr-4.10.1分布式集群搭建的相关文章

10.Redis分布式集群

10.Redis分布式集群10.1 数据分布10.1.1 数据分布理论10.1.2 Redis数据分区10.1.3 集群功能限制10.2 搭建集群10.2.1 准备节点10.2.2 节点握手10.2.3 分配槽10.2.4 用redis-trib.rb搭建集群10.3 节点通信10.3.1 通信流程10.3.2 Gossip消息10.3.3 节点选择10.4 集群伸缩10.4.1 伸缩原理10.4.2 扩容集群10.4.3 收缩集群10.5 请求路由10.5.1 请求重定向10.5.2 Smar

WAS集群系列(10):集群搭建:步骤8:WAS控制台配置集群

输入DM管理服务器IP登陆WAS控制台(http://10.53.105.63:9060/ibm/console/),如下所示: (1).查看节点同步状态 (2).启动HTTP服务 节点1(DM服务器): 分别点击图例中选项,启动HTTP管理服务.节点1上的HTTP服务,如下图: 节点2,同理,启动HTTP服务. (3).新建Web服务器 以下配置,根据实际情况修改即可,如下图: 完成配置后,如下图所示: 另一个节点,按照以上相同方法配置,配置完成如下图所示: 可以验证以下web服务器的配置,如

solr+zookeeper集群搭建

一.前期准备工作 相关工具: 1.虚拟机(VMware) 2.tomcat7 64位  下载地址:http://tomcat.apache.org/download-70.cgi 3.centos6.4  64位 4.linux下的64位jdk安装包,版本为6或以上 5. solr-4.3.1.tgz包  下载:http://archive.apache.org/dist/lucene/solr/ 6. zookeeper-3.4.5.tar.gz包  下载:http://hadoop.apac

solr 集群(SolrCloud 分布式集群部署步骤)

SolrCloud 分布式集群部署步骤 安装软件包准备 apache-tomcat-7.0.54 jdk1.7 solr-4.8.1 zookeeper-3.4.5 注:以上软件都是基于 Linux 环境的 64位 软件,以上软件请到各自的官网下载. 服务器准备 为搭建这个集群,准备三台服务器,分别为 192.168.0.2 -- master 角色192.168.0.3 -- slave 角色192.168.0.4 -- slave 角色 搭建基础环境 安装 jdk1.7 - 这个大家都会安装

搜索服务Solr集群搭建 使用ZooKeeper作为代理层

上篇文章搭建了zookeeper集群 那好,今天就可以搭建solr搜服服务的集群了,这个和redis 集群不同,是需要zk管理的,作为一个代理层 安装四个tomcat,修改其端口号不能冲突.8080~8083 如果是正式环境下,则分别使用4台linux作为节点 修改server.xml文件修改端口号,总共3个 以上步骤,在tomcat03,tomcat04上重复执行,但是3个端口一定要注意不能重复 向tomcat下部署solr 把单机版的solr工程复制到tomcat下即可 solr在别的机子上

Tomcat7 session同步集群搭建

Tomcat session同步集群搭建 一.如何保持session会话 为了使web能适应大规模的访问,需要实现应用的集群部署.集群最有效的方案就是负载均衡,而实现负载均衡用户每一个请求都有可能被分配到不固定的服务器上,这样我们首先要解决session的统一来保证无论用户的请求被转发到哪个服务器上都能保证用户的正常使用,即需要实现session的共享机制. 因为我这边提供web服务的是两台Tomcat服务器,也会有session共享的议题存在,经过与开发人员的交谈中了解到,他们应用的sessi

Hadoop初学指南(10)--ZooKeeper的集群安装和操作

本文简单介绍了ZooKeeper的基本知识. (1)概述 ①什么是ZooKeeper? Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等 ②Zookeeper的角色 ③为什么使用Zookeeper? 大部分分布式应用需要一个主控.协调器或控制器来管理物理分布的子进程(如资源.任务分配等) 目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制 协调程序的

(转)淘淘商城系列——Solr集群搭建

http://blog.csdn.net/yerenyuan_pku/article/details/72957201 我们之前做的搜索使用的是Solr的单机版来实现的,正是由于我们现在商品数据量不多,才几千条而已.如果商品数据量变得非常庞大,比如说淘宝,淘宝上面的商品数量特别多,我们用一个单机版的Solr能实现吗?这里面就可能有问题了,一个是数据量特别庞大,每一个服务器存储容量是有上限的,一旦磁盘存不下了怎么办呢?这是不是有问题啊?还有就是由于淘宝的用户访问量很多,搜索的人也有很多,并发量很高

Solr集群搭建详细教程(二)

注:欢迎大家转载,非商业用途请在醒目位置注明本文链接和作者名dijia478,商业用途请联系本人[email protected]. 之前步骤:Solr集群搭建详细教程(一) 三.solr集群搭建 注意,在搭建solr集群前,建议最好有一个solr服务是已经搭建好的,可以简化大量重复的配置操作. 单机solr服务搭建过程参看我的这篇文章: Solr服务在Linux上的搭建详细教程 这个单机solr服务在solr集群搭建第二步和第三步里需要,搭建好一个solr服务后,就可以进行集群搭建了. 第一步