nginx+tomcat集群负载均衡(实现session复制)

转自：http://talangniao.iteye.com/blog/341512

架构描述

前端一台nginx服务器做负载均衡器，后端放N台tomcat组成集群处理服务，通过nginx转发到后面（注：没做动静分离，静态动态全部都转给tomcat）

优点：实现了可弹性化的架构，在压力增大的时候可以临时添加tomcat服务器添加到这个架构里面去

一，配置nginx

1，  下载包

Wget http://sysoev.ru/nginx/nginx-0.6.32.tar.gz

ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/

2,  安装nginx包

a.安装pcre

tar zxvf pcre-7.2.tar.gz

cd pcre

 ./configure  --prefix = /pcre

 Make;make install

b,安装nginx

tar zxvf nginx-0.6.32.tar.gz

cd nginx-0.6.32

./configure  --prefix=/nginx –with-pcre=/pcre  --with-http_rewrite_module

Make;make install

3, 修改配置文件

Vi /nginx/conf/nginx.conf

#用户组

user nobody nobody;

#cpu个数，可以按照实际服务器来计算

worker_processes  8;

worker_rlimit_nofile 51200;

events {

use epoll;

#连接数

worker_connections  8192 ;

}

http {

include       mime.types;

default_type  application/octet-stream;

server_names_hash_bucket_size 128;

#    access_log  off;

#    access_log  logs/access.log;

#缓存的时间，（可以根据不同文件设置不同时间）

#   expires           2h;

tcp_nodelay on;

keepalive_timeout  30;

gzip  on;

gzip_min_length  10;

gzip_buffers     4 8k;

gzip_http_version 1.1;

gzip_types       text/plain application/x-javascript text/css text/html application/xml;

sendfile         on;

tcp_nopush       on;

reset_timedout_connection  on;

client_max_body_size 30m;

#设定负载均衡列表

upstream  backend

{

server   172.23.254.2:8080;

server   172.23.254.3:8080;

}

#设定虚拟主机

server {

listen       80;

server_name  www.abc.com;

#对 / 所有做负载均衡 （本机nginx采用完全转发，所有请求都转发到后端的tomcat集群）

location / {

root /web/www ;

index index.jsp index.htm index.html;

proxy_redirect         off;

#保留用户真实信息

proxy_set_header       Host $host;

proxy_set_header  X-Real-IP  $remote_addr;

proxy_set_header  X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass  http://backend;

}

}

}

主要在配置proxy与upstream

Upstream具有负载均衡能力，可以自动判断下面的机器，并且自动踢出不能正常提供服务的机器。

4，启动程序

/nginx/sbin/nginx

5,编写启动脚本

Vi nginx.sh

#!/bin/sh

CWD=`pwd`

case $1 in
        start)
                /nginx/sbin/nginx;
                        ;;
        stop)
                kill -2 `ps -ef|grep "/nginx/sbin/nginx"|grep -v "grep"|awk ‘{print $2}‘ `
                        ;;
        restart)
                cd "$CMD"
                $0 stop
                $0 start
        ;;
        *)
        echo $"Usage: $0 {start|stop|restart}"
        exit 1
esac
exit 0

二，配置tomcat

1，  下载tomcat5.59

tar zxvf tomcat5.59

2,修改配置文件

a,配置数据源

b，优化tomcat最大并发数

<Connector port="8080" maxHttpHeaderSize="8192"

maxThreads="2048" minSpareThreads="100" maxSpareThreads="200"

enableLookups="false" redirectPort="8443" acceptCount="500"

connectionTimeout="20000" disableUploadTimeout="true" />

c，添加虚拟主机

（注，主转发的虚拟主机必须用localhost，否则nginx不能通过内网ip转发，而只有通过域名转发

d,测试

打开http://ip:8080

页面能访问则正常

2，  其他的tomcat服务器也用同样的配置

三，做tomcat集群

两台机器 172.23.254.2  172.23.254.3

做集群需要修改的文件配置有三个地方

1，修改conf/server.xml配置文件
        a. 找到Engine标签，加入属性 jvmRoute="worker1"

b.找到Cluster标签，去掉注释，同时修改tcpListenAddress为本机ip 172.23.254.2 （注：这一段Cluster必须放在hosts里面）

2，  修改应用的web.xml

修改web应用里面WEB-INF目录下的web.xml文件，加入标签

<distributable/>

直接加在</web-app>之前就可以了

这个是加入tomcat的session复制的，做tomcat集群必须需要这一步，否则用户的session就无法正常使用。

3，  开启防火墙

这两个tomcat之间必须开启防火墙信任。

分别启动两个tomcat，查看每一个tomcat是否都启动了8080端口以及4001端口

再用netstat –an 查看链接情况

tcp        0      0 172.23.254.2:43320      172.23.254.3:4001      ESTABLISHED

tcp        0      0 172.23.254.2:46544      172.23.254.3:4001      TIME_WAIT

tcp        0      0 172.23.254.2:40118      172.23.254.3:4001      ESTABLISHED

tcp        0      0 172.23.254.2:4001       172.23.254.3:48804     ESTABLISHED

tcp        0      0 172.23.254.2:4001       172.23.254.3:34254     ESTABLISHED

如果两台机器的4001端口分别建立了连接，则说明集群配置成功，可以进行session复制。

可能存在的问题

1，  session复制问题

以前用apache做负载均衡的时候，是选择了用 session sticky的模式，这样的话，用户每次进来都会是同一个服务器中的session，不会被转发到其他的服务器上。在这样的情况下，tomcat即使不做session复制也不会影响用户访问。但是nginx并不支持sticky功能。所以必须要做session复制。否则很多地方就根本没法用。比如登录过程，先等到了第一个tomcat上，产生了一个session，在刷新页面，刷到另外一个tomcat的机器上，没有这个session，就会出现问题了。所以程序员在写jsp的时候也要注意这一点

举个简单的例子，比如我们在单机应用情况下修改SESSION中用户的某一个数据，那么通常就是：
User user = (User)request.getSession().getAttribute(“user”);
User.setName(“my name”);
    这样我们就是直接存取出来，然后进行修改，虽然在单机情况下没有问题，但是在集群条件下，这样就导致了多台WEB服务器上的SESSION不同步的问题，因为SESSION并没有改变，Tomcat无法监视session中某个数据的值是否发生了变化。因此，我们还需要执行如下操作以保证SESSION的同步：
Request.getSession().setAttribute(“user”, user);
    所以，我们在操作SESSION的时候要特别注意！另外的建议就是，我们应该尽可能的不要修改SESSION中的数据。

可能经常会遇到session复制不正常的情况。除了在服务端找原因再也程序上找下原因。都是有可能导致session复制不正常的

2.页面同步

为确保后面tomcat的服务器上的页面程序是一致的，可以采用如下方式

a,rsync同步，或者做成页面按钮，提供给编辑，修改了程序即使点击同步

b,共享区域存储，或者采取drbd网络raid模式

3，确认nginx可以转发成功，

在nginx上wget一下后面转发的url（包过端口），如果可以打开，那就可以转发过去。如果不能打开，则无法转发

时间： 2024-10-25 11:11:03

nginx+tomcat集群负载均衡(实现session复制)的相关文章

nginx+双tomcat集群负载均衡（一台机器）

nginx简介 Nginx ("engine x") 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器. Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日.其将源代码以类BSD许可证的形式发布,因它的稳定性.丰富的功能集.示例配置文件和低系统资源的消耗而闻名. 下面是采用一台机器nginx+双tomcat集群负载均衡方案.当更新项目时可以停止

Apache+Tomcat +mod_proxy集群负载均衡及session

  序言: 在玩Apache+Tomcat +mod_jk集群负载均衡及session的时候发现,还有一种方式可以实现,就是网上各位大牛们说的mod_proxy反向代理. 实在弄的我的知识细胞洋洋.实践后打个报告,给自己.. 环境说明: 操作系统:win7   64位 Javajdk: 1.7 Apache:httpd-2.2.25-win32-x86-no_ssl.msi    (本地安装路径:D:\Program Files (x86)\Apache2.2\)Tomcat: 7.0.42 

使用Nginx实现Tomcat集群负载均衡

一.背景 随着业务量和用户数量的激增,单一的tomcat部署应用已经无法满足性能需求,而且对于每次发布项目期间服务不可用的问题也凸显,既然出现了这个问题,那么我们本文就借助nginx来完美的解决这个问题. 二.基本概念 1.说明:关于Nginx的概念和介绍以及Centos7下安装步骤,请移步:Centos7安装Nginx实战 2.正向代理和反向代理 假设我们给定客户端A.代理服务器B.以及最终服务器C 正向代理:代理服务器B来代替客户端A来访问最终服务器C并将最终结果转发给客户端A,站在客户端A

Nginx+Tomcat+Memcache实现负载均衡及Session共享

第一部分 环境介绍 部署环境: Host1:Nginx.Memcached.Tomcat1 Host2:Tomcat2 Tomcat_version:8.0.38 第二部分 Nginx+Tomcat实现负载均衡 1.nginx及tomcat的安装省略 2.nginx负载均衡配置: http标签中定义tomcat集群: upstream tomcat_server { server 101.200.229.38:8080; server 101.200.162.214:8080; } server

Nginx+tomcat集群使用redis共享session

一 :nginx负载均衡 当Tomcat当做独立的Servlet容器来运行时,可看做是能运行Java Servlet的独立Web服务器. 此外 Tomcat还可以作为其他Web服务器进程内或者进程外的Servlet容器,从而与其他Web服务器集成(Apache Nginx IIS 等) 集成的意义在于:对于不支持运行java Servlet的其他Web服务器,可以通过集成Tomcat来提供运行Servlet的功能. ----------Tomcat与JavaWeb开发技术详解(孙卫琴的一本书)

Web应用优化之nginx+tomcat集群配置+redis管理session

1.nginx的安装 从官网下载一个nginx事务tar.gz版本,centos系统,安装好jdk 第一步解压 第二步:解压完成进入解压目录,执行./configure命令 需要安装gcc编译和pcre库,zlib库 yum -y install gcc yum install pcre-devel yum install zlib-devel ./configure完成后执行make install即可安装成功 2.集群配置流程 一.克隆2台CentOS虚拟机,并安装jdk+tomcat 二.

nginx memcache tomcat 集群 负载均衡

首先先了解什么是nginx: http://cxshun.iteye.com/blog/1535188 图片来自其他 从上图可以了解到整个集群的部署框架 安装地址: http://www.iteye.com/topic/1125301 nginx 配置后出现的问题: js,css,png...等显示不了? 1,查看页面源代码发现:读取js,css,png等信息时,系统去读取了“http://tomcat_service/项目名称/css..."tomcat_service 为配置多个服务器的名称

nginx+tomcat+memcached配置负载均衡与session共享学习一

版本信息:nginx-1.9.11 ,WEB服务器 apache-tomcat-7.0.34-1,servlet容器 apache-tomcat-7.0.34-2, servlet容器 jdk1.6 memcached  内存对象缓存系统 首先配置 nginx信息 配置路径:nginx-1.9.11\conf\nginx.conf 配置信息   #这是基本版的 其它的优化先不提供     server {     #访问地址与端口号         listen       80;       

Nginx+tomcat配置集群负载均衡

转自:http://blog.csdn.net/bruce_6/article/details/38228299 相信很多人都听过nginx,这个小巧的东西慢慢地在吞食apache和IIS的份额.那究竟它有什么作用呢?可能很多人未必了解. 说到反向代理,可能很多人都听说,但具体什么是反向代理,很多人估计就不清楚了.摘一段百度百科上的描述: 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回