Tomcat Cluster:
tomcat基于内存复制的集群,tomcat集群各节点通过建立tcp链接来实现session的复制,tomcat启动时,一个cluster对象(默认配置下是SimpleTcpCluster)会启动membership服务和Replication服务(用于建立tcp链接),membership服务记录了集群当前节点的信息,当一台节点接收http请求并产生一个新session时,调用Replication服务建立tcp连接把Session复制到membership列表中的其他节点,在复制时,所有保存在当前Session中的可序列化的对象都会被复制,而不仅仅是发生更新的部分。
当一台节点崩溃时,其它节点会被告知故障节点已从集群中退出,然后其它节点就会把故障节点从自己的membership列表中删除,发生在其它节点上的Session更新不再往故障节点复制,同时负载均衡器会把后续的http请求全部转发给其它节点。在此过程中所有的Session数据不会丢失。
实验准备:
虚拟机 172.18.250.77 安装nginx或者httpd 实现负载均衡
虚拟机 172.18.250.78 安装tomcat
虚拟机 172.18.250.79 安装tomcat
实验目的:当有一个新的连接并产生会话时,如果调度到哪一台后端服务器,都能保持会话
一、配置tomcat集群:
确保集群中各个节点的时间是同步的,不然会导致这边session已过期,另一边session仍处于活动状态
]# ls apache-tomcat-7.0.55.tar.gz jdk-7u79-linux-x64.rpm ]# tar -xf apache-tomcat-7.0.55.tar.gz -C /usr/local/ //解压二进制编译包 ]# cd /usr/local/ ]# ln -s apache-tomcat-7.0.55/ tomcat //软链接 ]# rpm -ivh jdk-7u79-linux-x64.rpm //安装官方的二进制jdk包 ]# vim /usr/local/tomcat/conf/server.xml ##可以在engine引擎下添加,表示对引擎下的所有的虚拟主机都有效 ##也可以在当个host主机内添加,表示只对当前主机有效 <Engine name="Catalina" defaultHost="localhost" jvmRoute="TomcatA"> <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8"> //异步模式复制session会话 <Manager className="org.apache.catalina.ha.session.DeltaManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true"/> //DeltaManager的管理模式 <Channel className="org.apache.catalina.tribes.group.GroupChannel"> <Membership className="org.apache.catalina.tribes.membership.McastService" address="228.0.74.4" //组播地址 port="45564" //组播端口 frequency="500" //多少毫秒传递一个心跳信息 dropTime="3000"/> //Membership在多长时间内未收到某一节点的心跳,则将该节点从可用节点列表删除 <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" address="172.18.250.78" //接收消息的地址 port="4000" //接收端口 autoBind="100" //端口的变化区间 selectorTimeout="5000" //接收器内轮询的超时时间 maxThreads="6"/> //线程池的最大线程数 <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"> <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/> </Sender> <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/> <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/> </Channel> <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/> <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/> <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener" /> <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener" /> </Cluster> 另外一台只需要改下接收的IP地址就行
启动tomcat,查看集群是否生效:
配置webapps:
]# cd /usr/local/tomcat/webapps/ ]# mkdir myapp ]# mkdir classes lib WEB-INF META-INF ]# vim index.jsp //创建测试session页面 <%@ page language="java" %> <html> <head><title>TomcatB</title></head> <body> <h1><font color="blue">TomcatA from 250.78</font></h1> <table align="centre" border="1"> <tr> <td>Session ID</td> <% session.setAttribute("magedu.com","magedu.com"); %> td><%= session.getId() %></td> </tr> <tr> td>Created on</td> <td><%= session.getCreationTime() %></td> </tr> </table> </body> </html> ]# cd WEB-INF/ ]# ls ]# cp /usr/local/tomcat/conf/web.xml ./ ]# vim web.xml <distributable/> <servlet> //在servlet前面添加
重启tomcat,测试session页面:
二、配置负载均衡调度器(httpd为例,250.77上)
]# cd /etc/httpd/conf.d/ ]# vim http_balance_tomcat.conf //基于http协议的负载均衡 <proxy balancer://webserver> BalancerMember http://172.18.250.78:8080 loadfactor=1 BalancerMember http://172.18.250.79:8080 loadfactor=2 ProxySet lbmethod=byrequests </proxy> <VirtualHost *:80> ServerName tc.magedu.com ProxyRequests Off ProxyPreserveHost On ProxyVia On <Proxy *> Require all granted </Proxy> ProxyPass / balancer://webserver/ ProxyPassReverse / balancer://webserver/ <Location /> Require all granted </Location> </VirtualHost>
测试负载至各个节点上会话是否能一致
]# vim http_balance_tomcat.conf //基于ajp协议的负载均衡 <proxy balancer://webserver> BalancerMember ajp://172.18.250.78:8009 loadfactor=1 BalancerMember ajp://172.18.250.79:8009 loadfactor=2 ProxySet lbmethod=byrequests </proxy> <VirtualHost *:80> ServerName tc.magedu.com ProxyRequests Off ProxyPreserveHost On ProxyVia On <Proxy *> Require all granted </Proxy> ProxyPass / balancer://webserver/ ProxyPassReverse / balancer://webserver/ <Location /> Require all granted </Location> </VirtualHost>
测试负载至各个节点上会话是否能一致:
]# vim mod_jk.conf //mod_jk模块实现负载均衡 LoadModule jk_module modules/mod_jk.so JkWorkersFile /etc/httpd/conf.d/workers.properties JkLogFile logs/mod_jk.log JkLogLevel debug JkMount /* webserver JkMount /jk_status StatA ]# vim workers.properties worker.list=webserver,StatA worker.TomcatA.host=172.18.250.78 worker.TomcatA.port=8009 worker.TomcatA.type=ajp13 worker.TomcatA.lbfactor=1 worker.TomcatB.host=172.18.250.79 worker.TomcatB.port=8009 worker.TomcatB.type=ajp13 worker.TomcatB.lbfactor=2 worker.webserver.type=lb worker.webserver.balance_workers=TomcatA,TomcatB worker.StatA.type=status
测试负载至各个节点上会话是否能一致:
memcached-session-manager:
MSM--memcached session manager是一个高可用的Tomcat session共享解决方案,除了可以从本机内存快速读取Session信息(仅针对黏性Session)外,同时可使用memcached存取Session,以实现高可用。
对于非黏性Session,memcached直接存储session。
安装在Tomcat上的MSM使用本机内存保存session,和StandardManager一样。另外,当一个请求结束时,session会被送回Memcached进行备份。当下一次请求开始时,本地Session可用,直接服务,请求结束后,session又被送回Memcached备份。
当集群中的一个Tomcat挂掉,下一次请求会被路由到其他Tomcat上。负责处理此此请求的Tomcat并不清楚Session的信息。此时它会从Memcached查找该Session,更新该Session并将其保存在本机内容。此次请求结束,session被修改,送回Memcached备份。 非黏性的session管理,我们不需要配置failoverNodes属性,因为所有sessions在tomcat集群中是循环可见的,并不会绑定到某一个单独的tomcat。
实验准备: 基于粘性session和javalution的序列化方式
虚拟机 172.18.250.77 安装nginx或者httpd 实现负载均衡
虚拟机 172.18.250.78 安装tomcat和memcached
虚拟机 172.18.250.79 安装tomcat和memcached
实验目的:当有一个新的连接并产生会话时,如果调度到哪一台后端服务器,都能保持会话
一、安装memcached
]# yum -y install memcached ]# ls //下载tomcat连接调用memcached的类包 javolution-5.4.3.1.jar memcached-session-manager-1.8.3.jar memcached-session-manager-tc7-1.8.3.jar msm-javolution-serializer-1.8.3.jar spymemcached-2.11.1.jar emcached-session-manager-tc7-1.8.3.jar要跟运行的tomcat的版本相同 ]# cp * /usr/local/tomcat/lib/ ]# vim /usr/local/tomcat/conf/server.xml <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"> <Context path="/test" docBase="myapp"> <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" memcachedNodes="n1:172.18.250.78:11211,n2:172.18.250.79:11211" failoverNodes="n2" //备用节点 requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" //不缓存静态图片、页面等 transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory" //序列化方式 /> </Context> ]# service memcached start //启动memcached ]# catalina.sh start //启动tomcat
配置负载均衡:
]# cd /etc/httpd/conf.d/ ]# vim http_balance_tomcat.conf //基于http协议的负载均衡 <proxy balancer://webserver> BalancerMember http://172.18.250.78:8080 loadfactor=1 BalancerMember http://172.18.250.79:8080 loadfactor=2 ProxySet lbmethod=byrequests </proxy> <VirtualHost *:80> ServerName tc.magedu.com ProxyRequests Off ProxyPreserveHost On ProxyVia On <Proxy *> Require all granted </Proxy> ProxyPass / balancer://webserver/ ProxyPassReverse / balancer://webserver/ <Location /> Require all granted </Location> </VirtualHost>
测试负载至各个节点上会话是否能一致:
把主节点的memcached宕机,会话依然保持: