Tomcat基于MSM+Memcached实现Session共享

前言

在Tomcat集群中，当一个节点出现故障，其他节点该如何接管故障节点的Session信息呢？本文带来的解决方案是基于MSM+Memcached实现Session共享。

相关介绍

MSM

MSM--Memcached Session Manager是一个高可用的Tomcat Session共享解决方案，除了可以从本机内存快速读取Session信息(仅针对黏性Session)外，同时可使用Memcached存取Session，以实现高可用。

工作原理

Sticky Session（黏性） 模式下的工作原理

#Tomcat本地Session为主Session，Memcached 中的Session为备Session

安装在Tomcat上的MSM使用本机内存保存Session，当一个请求执行完毕之后，如果对应的Session在本地不存在（即某用户的第一次请求），则将该Session复制一份至Memcached；当该Session的下一个请求到达时，会使用Tomcat的本地Session，请求处理结束之后，Session的变化会同步更新到 Memcached，保证数据一致。

当集群中的一个Tomcat挂掉，下一次请求会被路由到其他Tomcat上。负责处理此此请求的Tomcat并不清楚Session信息，于是从Memcached查找该Session，更新该Session并将其保存至本机。此次请求结束，Session被修改，送回Memcached备份。

Non-sticky Session （非黏性）模式下的工作原理

#Tomcat本地Session为中转Session，Memcached为主备Session

收到请求，加载备Session至本地容器，若备Session加载失败则从主Session加载

请求处理结束之后，Session的变化会同步更新到Memcached，并清除Tomcat本地Session

实现过程

实验拓扑

#系统环境：CentOS6.6

nginx安装配置

#解决依赖关系
[[email protected] ~]# yum groupinstall "Development Tools" "Server Platform Deveopment" -y
[[email protected] ~]# yum install openssl-devel pcre-devel -y
[[email protected] ~]# groupadd -r nginx
[[email protected] ~]# useradd -r -g nginx nginx
[[email protected] ~]# tar xf nginx-1.6.3.tar.gz 
[[email protected] ~]# cd nginx-1.6.3
[[email protected] nginx-1.6.3]# ./configure >   --prefix=/usr/local/nginx >   --sbin-path=/usr/sbin/nginx >   --conf-path=/etc/nginx/nginx.conf >   --error-log-path=/var/log/nginx/error.log >   --http-log-path=/var/log/nginx/access.log >   --pid-path=/var/run/nginx/nginx.pid  >   --lock-path=/var/lock/nginx.lock >   --user=nginx >   --group=nginx >   --with-http_ssl_module >   --with-http_flv_module >   --with-http_stub_status_module >   --with-http_gzip_static_module >   --http-client-body-temp-path=/usr/local/nginx/client/ >   --http-proxy-temp-path=/usr/local/nginx/proxy/ >   --http-fastcgi-temp-path=/usr/local/nginx/fcgi/ >   --http-uwsgi-temp-path=/usr/local/nginx/uwsgi >   --http-scgi-temp-path=/usr/local/nginx/scgi >   --with-pcre
[[email protected] nginx-1.6.3]# make && make install

为nginx提供SysV init脚本

[[email protected] ~]# vim /etc/rc.d/init.d/nginx 
#新建文件/etc/rc.d/init.d/nginx，内容如下：
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse #               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
 
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed ‘s/[^*]*--user=\([^ ]*\).*/\1/g‘ -`
   options=`$nginx -V 2>&1 | grep ‘configure arguments:‘`
   for opt in $options; do
       if [ `echo $opt | grep ‘.*-temp-path‘` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
 
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-
reload|configtest}"
        exit 2
esac

为脚本赋予执行权限

[[email protected] ~]# chmod +x /etc/rc.d/init.d/nginx

添加至服务管理列表，并让其开机自动启动

[[email protected] ~]# chkconfig --add nginx
[[email protected] ~]# chkconfig nginx on

配置nginx

[[email protected] ~]# vim /etc/nginx/nginx.conf

upstream www.scholar.com {
    server 172.16.10.123:8080;
    server 172.16.10.124:8080;
}
 
server {
    listen       80;
    server_name  www.scholar.com;
 
    location / {
        proxy_pass http://www.scholar.com;
        index  index.jsp index.html index.htm;
    }
 
}

[[email protected] ~]# service nginx start
Starting nginx:                                            [  OK  ]

tomcat安装配置

安装jdk

[[email protected] ~]# rpm -ivh jdk-7u79-linux-x64.rpm 
[[email protected] ~]# vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/java/latest
export PATH=$JAVA_HOME/bin:$PATH

[[email protected] ~]# . /etc/profile.d/java.sh

安装tomcat

[[email protected] ~]# tar xf apache-tomcat-7.0.62.tar.gz -C /usr/local/
[[email protected] ~]# cd /usr/local/
[[email protected] local]# ln -sv apache-tomcat-7.0.62/ tomcat
[[email protected] local]# vim /etc/profile.d/tomcat.sh

export CATALINA_HOME=/usr/local/tomcat
export PATH=$CATALINA_HOME/bin:$PATH

[[email protected] local]# . /etc/profile.d/tomcat.sh

提供脚本

[[email protected] local]# vim /etc/rc.d/init.d/tomcat

#!/bin/sh
# Tomcat init script for Linux.
#
# chkconfig: 2345 96 14
# description: The Apache Tomcat servlet/JSP container.
# JAVA_OPTS=‘-Xms64m -Xmx128m‘
JAVA_HOME=/usr/java/latest
CATALINA_HOME=/usr/local/tomcat
export JAVA_HOME CATALINA_HOME
case $1 in
start)
  exec $CATALINA_HOME/bin/catalina.sh start ;;
stop)
  exec $CATALINA_HOME/bin/catalina.sh stop;;
restart)
  $CATALINA_HOME/bin/catalina.sh stop
  sleep 2
  exec $CATALINA_HOME/bin/catalina.sh start ;;
*)
  echo "Usage: `basename $0` {start|stop|restart}"
  exit 1
  ;;
esac

[[email protected] local]# chmod +x /etc/rc.d/init.d/tomcat 
[[email protected] local]# chkconfig --add tomcat
[[email protected] local]# chkconfig tomcat on

#两个tomcat节点都执行以上操作

访问测试

准备测试页

[[email protected] local]# cd tomcat/webapps/
[[email protected] webapps]# mkdir -pv test/WEB-INF/{classes,lib}
[[email protected] webapps]# cd test/
[[email protected] test]# vim index.jsp

<%@ page language="java" %>
<html>
  <head><title>TomcatA</title></head>
  <body>
    <h1><font color="red">TomcatA.scholar.com</font></h1>
    <table align="centre" border="1">
      <tr>
        <td>Session ID</td>
    <% session.setAttribute("scholar.com","scholar.com"); %>
        <td><%= session.getId() %></td>
      </tr>
      <tr>
        <td>Created on</td>
        <td><%= session.getCreationTime() %></td>
     </tr>
    </table>
  </body>
</html>

#另一个节点将TomcatA替换为TomcatB，颜色设为蓝色

[[email protected] test]# service tomcat start

此时Session信息并不一致，接下来我们通过配置MSM实现Session共享

memcached安装

#解决依赖关系
[[email protected] ~]# yum groupinstall "Development Tools" "Server Platform Deveopment" -y
#安装libevent
#memcached依赖于libevent API，因此要事先安装之
[[email protected] ~]# tar xf libevent-2.0.22-stable.tar.gz 
[[email protected] ~]# cd libevent-2.0.22-stable
[[email protected] libevent-2.0.22-stable]#  ./configure --prefix=/usr/local/libevent
[[email protected] libevent-2.0.22-stable]# make && make install
[[email protected]lar ~]# echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf
[[email protected] ~]# ldconfig 
#安装配置memcached
[[email protected] ~]# tar xf memcached-1.4.24.tar.tar 
[[email protected] ~]# cd memcached-1.4.24
[[email protected] memcached-1.4.24]# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
[[email protected] memcached-1.4.24]# make && make install

提供脚本

[[email protected] ~]# vim /etc/init.d/memcached
 
#!/bin/bash
#
# Init file for memcached
#
# chkconfig: - 86 14
# description: Distributed memory caching daemon
#
# processname: memcached
# config: /etc/sysconfig/memcached
 
. /etc/rc.d/init.d/functions
 
## Default variables
PORT="11211"
USER="nobody"
MAXCONN="1024"
CACHESIZE="64"
RETVAL=0
prog="/usr/local/memcached/bin/memcached"
desc="Distributed memory caching"
lockfile="/var/lock/subsys/memcached"
 
start() {
        echo -n $"Starting $desc (memcached): "
        daemon $prog -d -p $PORT -u $USER -c $MAXCONN -m $CACHESIZE 
        RETVAL=$?
        [ $RETVAL -eq 0 ] && success && touch $lockfile || failure
        echo
        return $RETVAL
}
 
stop() {
        echo -n $"Shutting down $desc (memcached): "
        killproc $prog
        RETVAL=$?
        [ $RETVAL -eq 0 ] && success && rm -f $lockfile || failure
        echo
        return $RETVAL
}
 
restart() {
        stop
        start
}
 
reload() {
        echo -n $"Reloading $desc ($prog): "
        killproc $prog -HUP
        RETVAL=$?
        [ $RETVAL -eq 0 ] && success || failure
        echo
        return $RETVAL
}
 
case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  restart)
        restart
        ;;
  condrestart)
        [ -e $lockfile ] && restart
        RETVAL=$?
        ;;       
  reload)
        reload
        ;;
  status)
        status $prog
        RETVAL=$?
        ;;
   *)
        echo $"Usage: $0 {start|stop|restart|condrestart|status}"
        RETVAL=1
esac
 
exit $RETVAL

授权并启动服务

[[email protected] ~]# chmod +x /etc/init.d/memcached
[[email protected] ~]# chkconfig --add memcached
[[email protected] ~]# chkconfig memcached on
[[email protected] ~]# service memcached start

#两个memcached节点都执行以上操作

tomcat配置

将所需jar包放入各tomcat节点的tomcat安装目录下的lib目录中

[[email protected] ~]# cd msm/
[[email protected] msm]# ls
javolution-5.4.3.1.jar                   msm-javolution-serializer-1.8.1.jar
memcached-session-manager-1.8.1.jar      spymemcached-2.10.2.jar
memcached-session-manager-tc7-1.8.1.jar
[[email protected] msm]# cp * /usr/local/tomcat/lib/

#各tomcat节点都需执行以上操作
[[email protected] msm]# vim /usr/local/tomcat/conf/server.xml

  <?xml version=‘1.0‘ encoding=‘utf-8‘?>
  <Server port="8005" shutdown="SHUTDOWN">
  <Listener className="org.apache.catalina.startup.VersionLoggerListener" />
  <Listener className="org.apache.catalina.core.AprLifecycleListener" SSLEngine="on" />
  <Listener className="org.apache.catalina.core.JasperListener" />
  <Listener className="org.apache.catalina.core.JreMemoryLeakPreventionListener" />
  <Listener className="org.apache.catalina.mbeans.GlobalResourcesLifecycleListener" />
  <Listener className="org.apache.catalina.core.ThreadLocalLeakPreventionListener" />

  <GlobalNamingResources>
    <Resource name="UserDatabase" auth="Container"
              type="org.apache.catalina.UserDatabase"
              description="User database that can be updated and saved"
  </GlobalNamingResources>

  <Service name="Catalina">

    <Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" />
    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

    <Engine name="Catalina" defaultHost="localhost">

      <Realm className="org.apache.catalina.realm.LockOutRealm">
        <Realm className="org.apache.catalina.realm.UserDatabaseRealm"
               resourceName="UserDatabase"/>
      </Realm>

      <Host name="www.scholar.com"  appBase="webapps"
            unpackWARs="true" autoDeploy="true">
       <Context path="/test" docBase="/usr/local/tomcat/webapps/test/" reloadable="true">
             <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
               memcachedNodes="n1:172.16.10.126:11211,n2:172.16.10.212:11211"
               failoverNodes="n1"
               requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
               transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.Javolu
tionTranscoderFactory"
               /> 
        </Context>
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="scholar_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />

      </Host>
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="scholar_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />

      </Host>
      <Host name="localhost"  appBase="webapps"
            unpackWARs="true" autoDeploy="true">

        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />

      </Host>
    </Engine>
  </Service>
</Server>

将配置文件同步至另一节点

[[email protected] msm]# scp /usr/local/tomcat/conf/server.xml node2:/usr/local/tomcat/conf/
[[email protected] msm]# service tomcat restart ssh node2 ‘service tomcat restart‘

访问测试

由此可见，Session共享已实现，下面我们模拟TomcatB节点故障，看一下Session是否会发生改变

[[email protected] msm]# service tomcat stop

虽然因为TomcatB故障，导致用户请求被调度到了TomcatA节点上，但Session ID并未发生改变，即Session集群内的所有节点都保存有全局的Session信息，很好的实现了用户访问的不中断

当n2（memcached）节点发生故障，Session信息会不会转移到其他memcached节点呢，我们来试一下

[[email protected] ~]# service memcached stop

Session已转移到n1上，而且Session ID并未发生改变，至此，Tomcat基于MSM+Memcached实现Session共享目的已实现

The end

Tomcat基于MSM+Memcached实现Session共享实验就说到这里了，实验过程中遇到问题可留言交流。以上仅为个人学习整理，如有错漏，大神勿喷~~~

时间： 2024-10-14 03:56:08

Tomcat基于MSM+Memcached实现Session共享的相关文章

Tomcat集群环境下session共享方案梳理（1）-通过memcached（MSM）方法实现

对于web应用集群的技术实现而言,最大的难点就是:如何能在集群中的多个节点之间保持数据的一致性,会话(Session)信息是这些数据中最重要的一块.要实现这一点, 大体上有两种方式: 一种是把所有Session数据放到一台服务器上或者数据库中,集群中的所有节点通过访问这台Session服务器来获取数据: 另一种就是在集群中的所有节点间进行Session数据的同步拷贝,任何一个节点均保存了所有的Session数据. Tomcat集群session同步方案有以下几种方式: 1)使用tomcat自带的

【Tomcat】Tomcat + Memcached 实现session共享

概述 web项目中,Tomcat的访问量总是有限的,这时候就需要用到Tomcat集群,多个Tomcat的时候就要考虑Session共享的问题,这里介绍一种使用Memcached做Session共享的解决方案 环境 操作系统:Linux( centOS 6..5 版) 软件:Tomcat7    Memcached 实现原理 Tomcat + Memcached 实现session共享流程图 配置 安装Tomcat 2个和Memcached 1个,参考[Linux]Tomcat安装及一个服务器配置

Tomcat集群使用Memcached实现Session共享

Session是什么? 用户访问服务器资源主要分成两类,一类是无状态访问,例如请求一张图片.另一类是有状态访问,这种情况下,服务器需要记录追踪用户状态,并根据用户所处状态做出不同响应,典型的例子是购物车.Session的作用就是在Web服务器上保持用户的状态信息. Tomcat集群为什么需要Session共享? 当客户端访问Tomcat集群时,所有的请求将被Nginx拦截,由Nginx做负载均衡后转发给后台真实Tomcat.按照这个流程就可能出现一个问题,当用户进行页面刷新或跳转时,每次请求将被

nginx+tomcat8+memcached实现session共享具体操作

本次试验用到的软件包的版本如下: 一.针对10.43.2.134的操作 1.安装jdk环境 tar zxf jdk-8u5-linux-x64.tar.gz mkdir /usr/java mv jdk1.8.0_05/ /usr/java/ 编辑/etc/profile 在文档的末尾追加如下5行内容: JAVA_HOME=/usr/java/jdk1.8.0_05 JRE_HOME=/usr/java/jdk1.8.0_05/jre PATH=$PATH:$JAVA_HOME/bin:$JRE

nginx+tomcat8+memcached实现session 共享

操作环境: iP地址 角色 安装软件 10.43.2.135 nginx方向代理 memcached服务器 nginx   memcached 10.43.2.134 tomcat服务器 2个tomcat(端口分别为8080 8081) 实验中使用的软件如下: 实现思路: 第一步:针对10.43.2.134的操作 1.在10.43.2.134上安装2个tomcat 2.在$CATALINA/webapps/ROOT/下建立测试页面t.jsp 3.分别启动2个tomcat服务 4.打开http:/

Memcached实现Session共享

一.memcached安装 1. memcached安装和启动.查看进程 安装扩展源 yum install -y epel-release 安装软件.组件.工具包 yum install -y libevent memcached libmemcached 启动 /etc/init.d/memcached start 进程 ps aux |grep memcached 解释: -d  启动一个守护进程 -p  监听的端口,默认11211 -u  运行memcached用户 -m 内存大小,单位

Nginx + Memcached 实现Session共享的负载均衡

session共享 我们在做站点的试试,通常需要保存用户的一些基本信息,比如登录就会用到Session:当使用Nginx做负载均衡的时候,用户浏览站点的时候会被分配到不同的服务器上,此时如果登录后Session就在不同发服务器上,A记住了用户的登录状态,可是下一次用户请求被分配到B去了怎么办?不可能让用户再登陆一次.所以要实现session共享. 方法 1.ip_hash,这是Nginx的轮询方法,用户登录站点时,就会一直在这台服务器上就不存在Session的问题 优点:不需要采用任何处理: 缺

nginx+tomcat+redis负载均衡及session共享

概述 本文档是用来详细描述 nginx+tomcat+redis负载均衡实现session共享 所需软件及下载地址 软件名称 下载地址 功能说明 Nginx-v1.6.0 http://nginx.org/download/nginx-1.6.0.tar.gz 负载均衡 commons-pool-2-2.4.2.jar http://mirrors.hust.edu.cn/apache//commons/pool/binaries/commons-pool2-2.4.2-bin.tar.gz j

haproxy+tomcat实现负载均衡以及session共享(linux centos7环境)

一.安装HAProxy 1.进入home目录,下载最新haproxy安装包. cd /home wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz 2.解压: tar -zxvf haproxy-1.4.24.tar.gz 重命名为haproxy mv haproxy-1.4.24.tar.gz haproxy 创建目录/usr/local/haproxy mkdir /usr/local/haproxy 3.安装