Nginx+Tomcat+Memcached部署应用

通常我们企业也会使用JSP来发布动态网页，那么我们怎样将他们很好的整合,使用一台http服务器对外发布呢？这个时候我们就可以使用Nginx作为前端服务器来对Tomcat进行调度和负载，同时基于jsp的动态特征，我们将引入memcached来保持网页在链接过程中的session同步问题。

主机角色:node1：192.168.20.101 tomcat memcached

node2: 192.168.20.102 tomcat memcached nginx

注意:两台node上的tomcat应用完全一致

jdk-7u79-linux-x64.tar.gz apache-tomcat-7.0.64.tar.gz

在node2上安装nginx:

1.安装Nginx

Nginx官网：http://nginx.org/

下载最新稳定版本。在安装Nginx之前，需要先安装gcc、 openssl、 pcre和zlib软件库。

1.1 安装gcc、gcc-c++

#yum install gcc gcc-c++

1.2安装openssl

openssl官网：http://www.openssl.org/

安装版本：openssl-1.0.0s.tar.gz

# tar -zxvf openssl-1.0.0s.tar.gz

# cd openssl-1.0.0s

# ./config --prefix=/usr/local/openssl

# make

# make install

1.3安装pcre

pcre官网：http://www.pcre.org/

安装版本：pcre-8.37.tar.gz

# tar -zxvf pcre-8.37.tar.gz

# cd pcre-8.37

# ./configure --prefix=/usr/local/pcre

# make

# make install

1.4安装zlib

zlib官网：http://www.zlib.net/

安装版本：zlib-1.2.8.tar.gz

# tar -zxvf zlib-1.2.8.tar.gz

# cd zlib-1.2.8

# ./configure --prefix=/usr/local/zlib

# make

# make install

1.5安装Nginx

安装版本：nginx-1.6.2.tar.gz

# tar -zxvf nginx-1.6.2.tar.gz

# cd nginx-1.6.2

# ./configure --prefix=/home/www/nginx

--with-openssl=/home/soft/openssl-1.0.0s #指的是openssl源码路径

--with-pcre=/home/soft/pcre-8.37 #指的是pcre源码路径

--with-zlib=/home/soft/zlib-1.2.8 #指的是zlib源码路径

--with-http_ssl_module

# make

# make install

在node1和node2上分别安装JDK，然后配置环境变量

#vi /etc/profile

# jdk7 settings

JAVA_HOME=/usr/java/jdk1.7.0_79

JRE_HOME=$JAVA_HOME/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

#source /etc/profile

# ln -s /usr/java/jdk1.7.0_79/bin/java /sbin/java

# which java

#vi test.java

public class test{

public static void main(String[] args)

{System.out.println("Hello!");  }

}

#javac test.java          编译

#java test                   执行后出现Hello!说名java环境配置好

分别在node1和node2安装tomcat服务器

这里只列出node1上的操作：

# tar -zxvf apache-tomcat-7.0.64.tar.gz -C /home/www/

# mv /home/www/apache-tomcat-7.0.64 /home/www/tomcat

为普通用户设置tomcat的java环境：

$ vi /home/www/tomcat/bin/setclasspath.bat

export JAVA_HOME=/usr/java/jdk1.7.0_79

export JRE_HOME=/usr/java/jdk1.7.0_79/jre

创建网站目录

# mkdir -pv /home/www/ROOT

修改配置文件

# vi /home/www/tomcat/conf/server.xml

在下面的内容（大概在126行）后面添加<Context path="" docBase="/home/www/ROOT" debug="0" reloadable="false" />

修改后的内容如下：

<Host name="localhost"  appBase="webapps"

unpackWARs="true" autoDeploy="true">

<Context path="" docBase="/home/www/ROOT" debug="0" reloadable="false" />

修改tomcat端口：

<Server port="8005" shutdown="SHUTDOWN">

<Connector port="8080" protocol="HTTP/1.1"

connectionTimeout="20000"

redirectPort="8443" />

<!-- A "Connector" using the shared thread pool-->

<!--

<Connector executor="tomcatThreadPool"

port="8080" protocol="HTTP/1.1"

connectionTimeout="20000"

redirectPort="8443" />

<!-- Define an AJP 1.3 Connector on port 8009 -->

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

使用同样的方法在node2上安装tomcat服务器，端口不要与node1上的tomcat端口相同即可。

#cd /home/www/ROOT/            自写测试页

#vi index.jsp

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>

<%

String path = request.getContextPath();

String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";%>

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<html>

<head>

<base href="<%=basePath%>">

<title>My JSP ‘index.jsp‘ starting page</title>

<meta. http-equiv="pragma" content="no-cache">

<meta. http-equiv="cache-control" content="no-cache">

<meta. http-equiv="expires" content="0">

<meta. http-equiv="keywords" content="keyword1,keyword2,keyword3">

<meta. http-equiv="description" content="This is my page">

<!--

<link rel="stylesheet" type="text/css" href="styles.css">

-->

</head>

<body>

This is my JSP page.<br>

</body>

</html>

要想用普通用户运行tomcat,并能成功访问，还需修改tomcat的work目录权限，否则会报HTTP 500错误。

# chown -R btcweb:www /home/www/tomcat/work/Catalina/

测试访问;http://192.168.20.101:8080

tomcat访问每次得8080端口,使用nginx反向代理一下。

使用nginx发布jsp动态网页:

修改nginx配置文件:vim /usr/local/lnmp/nginx/conf/nginx.conf

location ~ \.jsp$ {

proxy_pass http://127.0.0.1:8080;

}

$ ./nginx/sbin/nginx -t

$ ./nginx/sbin/nginx -s reload

访问:http://192.168.20.102

在node2上的nginx环境中发布网页

使用nginx的负载均衡功能,在http块中加

upstream linux {

server 192.168.20.101:8080;

server 192.168.20.102:8080;

}

location ~ \.jsp$ {

proxy_pass http://linux;

}

$ ./nginx/sbin/nginx -t

$ ./nginx/sbin/nginx -s reload

测试:http://linux 实现两台主机的负载均衡

linux对应的是nginx的主机，客户端测试用域名访问时，做下linux到192.168.20.102的hosts绑定即可。

问题:在后台实现了nginx的负载均衡,但是当一个用户刷新数据时,数据总是变化的,试想,在动态页面,如果用户提交数据刷新后会换成另外一个空面,这样会造成一定的损失

解决:给nginx增加一个sticky模块.(需要重新编译nginx)

重新在nginx在进行模块化编译：

download:nginx-sticky-modules.tar.gz(解压就行)

下载地址：http://code.google.com/p/nginx-sticky-module/downloads/list

# cd /home/soft/

# tar -zxvf nginx-sticky-module-1.1.tar.gz

# cd nginx-1.6.2

# ./configure --prefix=/home/www/nginx --with-openssl=/home/soft/openssl-1.0.0s --with-pcre=/home/soft/pcre-8.37 --with-zlib=/home/soft/zlib-1.2.8 --with-http_ssl_module --add-module=/home/soft/nginx-sticky-module-1.1

# yum -y install openssl-devel

# make && make install

在执行make && make install时报如下错误

/tmp/soft/nginx-sticky-module-1.1/ngx_http_sticky_misc.c:281: error: too few arg

uments to function ‘ngx_sock_ntop’

make[1]: *** [objs/addon/nginx-sticky-module-1.1/ngx_http_sticky_misc.o] Error 1

make[1]: Leaving directory `/tmp/soft/nginx-1.6.2‘

make: *** [build] Error 2

根据资料 把ngx_http_sticky_misc.c 的281行修改如下即可解决问题

原digest->len = ngx_sock_ntop(in,digest

->data, len, 1);

改后digest->len = ngx_sock_ntop(in,sizeof(struct sockaddr_in),digest

->data, len, 1);

# vi /home/www/nginx/conf/nginx.conf

upstream linux {

sticky; #装了nginx-sticky后的功能

server 192.168.20.101:8080 ;

server 192.168.20.102:8080 ;

}

测试：http://linux 后发现刷新不会来回负载(每个用户看到的其实不是一个tomcat上的数据,但是对用户是透明的)

4.nginx负载tomcat的jsp时,需要解决session共享:

使用memcache进行缓存(用户)后端数据,但是又要想到解决单点故障问题,因而可以采用两台memcache作为后端负载.

memcached 11211 后端使用交叉式存储(tomcat会将session同步,session自动寻找存储的memcached,但是默认是交叉存储,当m坏掉,tomcat都会存到存活的m上)

只要tomcat不会宕掉,一切数据都还ok

但是当memcached宕掉,tomcat会向存活的mem上存取。

session 的序列化方案官方推荐的有 4 种:

1. java serialization

2. msm-kryo-serializer

3. msm-javolution-serializer

4. msm-xstream-serializer

其中性能最好的数Kryo,我们使用kryo来做session

mecached服务器node1 和 node2

Memcached安装

Memcached官网：http://memcached.org/

安装memcached需要先安装libevent，libevent官网：http://libevent.org/

本次安装版本：

memcached-1.4.24.tar.gz

libevent-2.0.22-stable.tar.gz

4.1 安装livevent

查看是否已安装：# rpm qa | grep libevent

如果已安装且版本低于1.3，则先通过：

#rpm -e libevent --nodeps 进行卸载。

# tar -zxvf libevent-2.0.22-stable.tar.gz

# cd libevent-2.0.22-stable

# ./configure --prefix=/usr/local/libevent

# make

# make install

4.2 安装Memcached

# tar -zxvf memcached-1.4.24.tar.gz

# cd memcached-1.4.24

# ./configure --prefix=/home/www/memcached --with-libevent=/usr/local/libevent

# make

# make install

编写启动脚本：

# cd /home/www/memcached

# vi start.sh

start.sh内容如下：

bin/memcached -d -m 10240 -p 11211 -l 192.168.20.102  -c 1024 -u root -P /home/www/memcached/memcached.pid

#chmod 755 start.sh

启动memcached

# cd /home/www/memcached

# ./start.sh

查看进程：ps -ef |grep memcached

参数选项说明：

-p <num>    监听的TCP端口 (缺省: 11211)

-d    以守护进程方式运行memcached

-u <username>    运行memcached的账户，非root用户

-m <num>    最大的内存使用，单位是MB，缺省是 64 MB

-c <num>    软连接数量，缺省是1024（最大并发连接数）

-v    输出警告和错误信息

-vv    打印客户端的请求和返回信息

-h    打印帮助信息

-i    打印memcached和libevent的版权信息

测试访问:telnet localhost 11211

stats                   查看状态

将以下jar包复制到tomcat的lib目录（如/home/www/tomcat/lib）

javolution-5.5.1.jar

kryo-1.03.jar

kryo-serializers-0.10.jar

memcached-2.5.jar

memcached-session-manager-1.5.1.jar

memcached-session-manager-tc7-1.5.1.jar

minlog-1.2.jar

msm-javolution-serializer-1.5.1.jar

msm-kryo-serializer-1.6.4.jar

reflectasm-0.9.jar

spymemcached-2.7.3.jar

#vi /home/www/tomcat/conf/context.xml

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"

memcachedNodes="n1:192.168.20.101:11211,n2:192.168.20.102:11211"

failoverNodes="n2"

requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>

重启tomcat,以识别memcached-session-manager

#tail -f tomcat/logs/catalina.out #默认日志

INFO: MemcachedSessionService finished initialization, sticky true, with node ids [n1] and failover node ids [n2]

正常启动

编辑测试文件:

(动态效果的jsp网页)

#vi /home/www/ROOT/index.jsp

<%@ page contentType="text/html; charset=GBK" %>

<%@ page import="java.util.*" %>

<html><head><title>Cluster App Test</title></head>

<body>

Server Info:

<%

out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>

<%

out.println("<br> ID " + session.getId()+"<br>");

String dataName = request.getParameter("dataName");

if (dataName != null && dataName.length() > 0) {

String dataValue = request.getParameter("dataValue");

session.setAttribute(dataName, dataValue);

}

out.print("<b>Session list</b>");

Enumeration e = session.getAttributeNames();

while (e.hasMoreElements()) {

String name = (String)e.nextElement();

String value = session.getAttribute(name).toString();

out.println( name + " = " + value+"<br>");

System.out.println( name + " = " + value);

}

%>

<form action="index.jsp" method="POST">

name:<input type=text size=20 name="dataName">

<br>

key:<input type=text size=20 name="dataValue">

<br>

<input type=submit>

</form>

</body>

</html>

session共享完成:两台tomcat和memcached机子做相同的配置(jdk,memcache,tomcat)

测试:

http://linux     使用一台tomcat和另外一台的memcached进行session共享

当任何一台tomcat或者memcached挂了都无所谓

session会记录并且保持用户的数据信息

时间： 2024-11-06 10:52:55

Nginx+Tomcat+Memcached部署应用的相关文章

Nginx+Tomcat+Memcached部署

通常我们企业也会使用JSP来发布动态网页,那么我们怎样将他们很好的整合,使用一台http服务器对外发布呢?这个时候我们就可以使用Nginx作为前端服务器来对Tomcat进行调度和负载,同时基于jsp的动态特征,我们将引入memcached来保持网页在链接过程中的session同步问题. 主机角色:node1:192.168.20.101        tomcat        memcached         node2: 192.168.20.102        tomcat     

Nginx+Tomcat+Memcached 实现集群部署时Session共享

一．简介 我们系统经常要保存用户登录信息,有Cookie和Session机制,Cookie客户端保存用户信息,Session在服务端保存用户信息,如果浏览器不支持Cookie或者用户把Cookie禁掉了,Cookie就用不了,还有不同的浏览器采用不用方式保存Cookie,所以我们采用Session服务端来保存,上一节我们有介绍了Tomcat集群部署,怎么样集群的Tomcat对同个用户请求的都能获取保存在Session的用户信息,采用了Memcached管理Session,Memcached 是一

Nginx + tomcat + Memcached(session共享)

Nginx + tomcat + Memcached(session共享) 实验拓扑 nginx   实现负载 tomcat   实现web功能 memcached 实现会话共享 安装Nginx [[email protected] ~]# yum -y install pcre pcre-devel [[email protected] ~]# tar -zxvf nginx-1.0.5.tar.gz [[email protected] ~]# cd nginx-1.0.5 [[email 

Nginx+Tomcat+Memcached集群Session共享

提供给大家整合实例: http://download.csdn.net/detail/zld1987/9577962 cookie是怎样工作的? 例如,我们创建了一个名字为login的Cookie来包含访问者的信息,创建Cookie时,服务器端的Header如下面所示,这里假设访问者的注册名是"Michael Jordan",同时还对所创建的Cookie的属性如path.domain.expires等进行了指定. Set-Cookie:login=Michael Jordan;path

tomcat session会话保持实验-之Nginx+tomcat+memcached

tomcat session会话保持实验-之Nginx+tomcat+memcached 实验要求 1.nginx+tomcat 负载均衡 2.memcached 会话保持 实验拓扑   ip网络规划 Nginxnode2:172.16.76.20 tomcatAnode3:172.16.76.30  memcached tomcatBnode4:172.16.76.40  memcached 基础配置   node2 [[email protected]~]# yum install ngin

Nginx+Tomcat+Memcached负载均衡配置完整流程（多方总结，亲测可用）

Nginx+Tomcat+Memcached负载均衡配置完整流程: 前言: Nginx实现Tomcat的负载均衡和利用memcached实现session共享. 首先配置tomcat,JDK 将jdk,tomcat 放入站点/opt目录中 安装JDK cd /opt chmod 755 jdk-6u45-linux-x64-rpm.bin ./jdk-6u45-linux-x64-rpm.bin java -version      //检验版本 安装Tomcat tar -zxf apache

【转】Nginx+Tomcat+Memcached集群Session共享

cookie是怎样工作的? 例 如,我们创建了一个名字为login的Cookie来包含访问者的信息,创建Cookie时,服务器端的Header如下面所示,这里假设访问者的注册名 是“Michael Jordan”,同时还对所创建的Cookie的属性如path.domain.expires等进行了指定. Set-Cookie:login=Michael Jordan;path=/;domain=msn.com; expires=Monday,01-Mar-99 00:00:01 GMT 上面这个H

Nginx+Tomcat+MemCached 集群配置手册

系统实施文档 Nginx+Tomcat+MemCached 集群配置手册 目    录 第1章   概述 1.1   目标 互联网的快速发展带来了互联网系统的高负载和高可用性, 这要求我们在设计系统架构时会应用很多高性能的产品, 本文主要描述互联网架构中门户应用的集群的配置工作,最终用以指导系统实施. 1.2   预期读者 本文档用于指导系统工程师进行系统实施工作,架构师和系统工程师应该通读本文档,选择适当版本用于自己的系统架构. 第2章   产品介绍 2.1   Nginx介绍 Nginx是一

企业网站架构之Nginx+tomcat+memcached集群

nginx+tomcat+memcached应用 系统环境:RHEL6.4  x64   iptables -F   and selinux is disabled 主机角色:node1 :192.168.0.24 :lnmp环境 tomcat memcached node2 :192.168.0.99 : tomcat memcached 软件下载:在lnmp环境上测试tomcat,使用nginx简单发布jsp jdk-6u32-linux-x64.bin apache-tomcat-7.0.