memcached + nginx

一.前言

nginx的memcached_module模块可以直接从memcached服务器中读取内容后输出,后续的请求不再经过应用程序处理,如php-fpm、django,大大的提升动态页面的速度。nginx只负责从memcached服务器中读取数据,要往memcached写入数据还得需要后台的应用程序来完成,主动的将要缓存的页面缓存到memcached中,可以通过404重定向到后端去处理的。 
ngx_http_memcached_module可以操作任何兼用memcached协议的软件。如ttserver、membase等。

结构图如下:

memcached的key可以通过memcached_key变量来设置,如以$uri。如果命中,那么直接输出内容,没有命中就意味着nginx需要从应用程序请求页面。同时,我们还希望该应用程序将键值对写入到memcached,以便下一个请求可以直接从memcached获取。
如果键值不存在,nginx将报告not found错误。最好的方法是使用error_page指定和location请求处理。同时包含"Bad Gateway"错误和"Gateway Timeout"错误,如:error_page 404 502 504 = @app ;。
注意:需要设置default_type,否则可能会显示不正常。

2. 模块指令说明:

memcached_bind 
语法: memcached_bind address | off; 
默认值: none 
配置段: http, server, location 
指定从哪个IP来连接memcached服务器

memcached_buffer_size
语法: memcached_buffer_size size;
默认值: 4k|8k;
配置段: http, server, location
读取从memcached服务器接收到响应的缓冲大小。尽快的将响应同步传给客户端。

memcached_connect_timeout
语法:memcached_connect_timeout time;
默认值:60s;
配置段:http, server, location
与memcached服务器建立连接的超时时间。通常不超过75s。

memcached_gzip_flag
语法:memcached_gzip_flag flag;
默认值:none
配置段:http, server, location
测试memcached服务器响应标志。如果设置了,将在响应头部添加了Content-Encoding:gzip。

memcached_next_upstream
语法: memcached_next_upstream error | timeout | invalid_response | not_found | off ...;
默认值: error timeout;
配置段: http, server, location
指定在哪些状态下请求将转发到另外的负载均衡服务器上,仅当memcached_pass有两个或两个以上时使用。

memcached_pass
语法:memcached_pass address:port or socket;
默认值:none
配置段:location, if in location
指定memcached服务器地址。使用变量$memcached_key为key查询值,如果没有相应的值则返回error_page 404。

memcached_read_timeout
语法:memcached_read_timeout time;
默认值:60s;
配置段:http, server, location
定义从memcached服务器读取响应超时时间。

memcached_send_timeout
语法:memcached_send_timeout
默认值:60s
配置段:http, server, location
设置发送请求到memcached服务器的超时时间。

$memcached_key变量:
memcached key的值。

3. nginx memcached的增强版ngx_http_enhanced_memcached_module

基于nginx memcached 模块的,添加的新特性有: 
1. 自定义HTTP头,如Content-Type, Last-Modified。 
2. hash键可超过250个字符,memcached受限。 
3. 通过HTTP请求将数据存储到memcached。 
4. 通过HTTP请求从memcached删除数据。 
5. 通过HTTP请求清除所有memcached缓存数据。 
6. 通过HTTP请求获取memcached状态数据。 
7. 键名空间管理,来部分刷新缓存。 
8. 缓存通过If-Modified-Since头和内容Last-Modified来回复304Not Modified请求。

4. 应用实例

nginx配置实例:

upstream memcacheds {
        server 10.1.240.166:22222;
}
server  {
        listen       8080;
        server_name  nm.ttlsa.com;
        index index.html index.htm index.php;
        root  /data/wwwroot/test.ttlsa.com/webroot;

        location /images/ {
                set $memcached_key $request_uri;
                add_header X-mem-key  $memcached_key;
                memcached_pass  memcacheds;
                default_type text/html;
                error_page 404 502 504 = @app;
        }

        location @app {
                rewrite ^/.* /nm_ttlsa.php?key=$request_uri;
        }

        location ~ .*\.php?$
        {
                include fastcgi_params;
                fastcgi_pass  127.0.0.1:10081;
                fastcgi_index index.php;
                fastcgi_connect_timeout 60;
                fastcgi_send_timeout 180;
                fastcgi_read_timeout 180;
                fastcgi_buffer_size 128k;
                fastcgi_buffers 4 256k;
                fastcgi_busy_buffers_size 256k;
                fastcgi_temp_file_write_size 256k;
                fastcgi_intercept_errors on;
                fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
        }
}

nm_ttlsa.php实例:

addServers($servers);

	$r=$m->set($_GET[‘key‘],$data);
	header(‘Content-Length: ‘.filesize($fn)."\r\n");
	header(‘Content-Type: image/gif‘."\r\n");
	header(‘X-cache: MISS‘."\r\n");
	print $data;
}else{
	header(‘Location: http://www.ttlsa.com‘."\r\n");
}

5. 测试

第一次访问:(需要经过php处理)

再次访问:(直接从memcached读取)

哈,这个实例并不好。
1. 地球人都知道memcached不是持久化的,如果是永久性的图片应用,选用可以持久化存储方案合适,如riak、membase、ttserver、mongodb GridFS等等。
2. 如果是用户头像的应用,用memcached来做缓存也不合适。因为用户更改头像又得刷新缓存,鉴于此,一步到位的用ttserver或mongodb GridFS来做用户头像的存储岂不是更好么。
ttserver+nginx构建高并发高可用性应用参见:http://www.ttlsa.com/html/1429.html
这个实例改改或许可以用来在线迁移图片到key-value存储的过渡方案。

nginx的memc-nginx和srcache-nginx模块可以主动的向memcached添加缓存。后续整理后再发布出来。参见《memc_nginx+srcache_nginx+memcached构建透明的动态页面缓存http://www.ttlsa.com/html/2460.html

时间: 2024-10-29 19:11:06

memcached + nginx的相关文章

开机自动启动tomcat+memcached+nginx

编辑 /etc/rc.d/rc.local 如下: export JAVA_HOME=/usr/java/jdk1.7.0_71 export CLASSPATH=.:/usr/java/jdk1.7.0_71/lib/dt.jar:/usr/java/jdk1.7.0_71/lib/tools.jar export PATH=/usr/java/jdk1.7.0_71/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bi

Mac下brew/memcached/nginx的安装

brew  https://www.cnblogs.com/fireworld/p/8609190.html memcached https://blog.csdn.net/whereismatrix/article/details/50485570 memcached https://www.cnblogs.com/fengwenit/p/6381100.html nginx  https://www.cnblogs.com/meng1314-shuai/p/8335140.html ruby

Tomcat+Memcached+Nginx实现session会话共享

环境: ip hostname software version OS port 192.168.1.120 nginx-proxy-master.gz01 nginx-1.8.1 CentOS Linux release 7.4.1708 (Core)  80 192.168.1.136 tomcat-node01.gz01 apache-tomcat-8.5.53 CentOS Linux release 7.4.1708 (Core)  8080 192.168.1.137 tomcat-

利用Memcached+Apache Tomcat+Nginx实现负载均衡

 Memcached+Apache Tomcat+Nginx 系统环境:rhel6.5_x64 selinux and iptables disabled 主机角色: node1: 172.25.44.22:Nginx Tomcat Memcached node2: 172.25.44.33:Tomcat Memcached 软件下载:http://www.nginx.org http://code.google.com/p/memcached-session-manager/ Part1 Me

Nginx+Tomcat+Memcached部署

通常我们企业也会使用JSP来发布动态网页,那么我们怎样将他们很好的整合,使用一台http服务器对外发布呢?这个时候我们就可以使用Nginx作为前端服务器来对Tomcat进行调度和负载,同时基于jsp的动态特征,我们将引入memcached来保持网页在链接过程中的session同步问题. 主机角色:node1:192.168.20.101        tomcat        memcached         node2: 192.168.20.102        tomcat     

Nginx+Tomcat+Memcached部署应用

通常我们企业也会使用JSP来发布动态网页,那么我们怎样将他们很好的整合,使用一台http服务器对外发布呢?这个时候我们就可以使用Nginx作为前端服务器来对Tomcat进行调度和负载,同时基于jsp的动态特征,我们将引入memcached来保持网页在链接过程中的session同步问题. 主机角色:node1:192.168.20.101 tomcat memcached node2: 192.168.20.102 tomcat memcached nginx 注意:两台node上的tomcat应

Nginx + MySQL + PHP + Xcache + Memcached

传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求,这势必会在网络和I/O操作时产生阻塞,其另一个必然结果则是对内存或CPU的利用率低下.生成一个新的进程/线程需要事先备好其运行时环境,这包括为其分配堆内存和栈内存,以及为其创建新的执行上下文等.这些操作都需要占用CPU,而且过多的进程/线程还会带来线程抖动或频繁的上下文切换,系统性能也会由此进一步下降. 在设计的最初阶段,nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用,因此其采用了不同的架构模型.受启发

Mac Yosemite安装配置nginx+php+mysql+memcached环境

一个命令全搞定 sudo port install php55 php55-fpm php55-curl php55-exif php55-gd php55-gettext php55-iconv php55-mbstring php55-mcrypt php55-mysql php55-memcache php55-odbc php55-opcache php55-openssl php55-oracle php55-postgresql php55-sockets php55-sqlite 

Ansible 一键配置安装Keepalived+Nginx作为前端,httpd+php作为后端

一.环境:  Ansible控制机:172.16.0.6                 Ansible nginx:172.16.0.{2|4}         Ansible Keepalived: 172.16.0.{2|4}         Ansible httpd: 172.16.0.{128|129}         Keepalived IP:192.168.220.5/32 除控制机全部采用Linux Cento7,外网统一192.168.220.0/27 一般生产机我们会把Y