7.Varnish

概述

Varnish处理HTTP请求的过程大致分为如下几个步骤:
        1> Receive状态:请求处理入口状态,根据VCL规则判断该请求应该Pass或Pipe,还是进入Lookup(本地查询)。
        2> Lookup状态:进入此状态后,会在hash表中查找数据,若找到,则进入Hit状态,否则进入Miss状态。
        3> Fetch状态:在Fetch状态下,对请求进行后端获取,发送请求,获得数据,并进行本地存储。
        4> Deliver状态:将获取到的数据发送给客户端,然后完成本次请求。

Varnish安装完成后,默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl,此文件内容默认全部被注释掉。

VCL

vcl_recv函数

用于接受和处理请求。当请求达到并被成功接收后被调用,通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束:

>pass:表示进入pass模式,把请求控制权交给vcl_pass函数。
>pipe:表示进入pipe模式,请把请求控制权交给vcl_pipe函数。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

vcl_pipe函数

此函数在进入pipe模式时被调用,用于将请求直接传递至后端主机,在请求和返回的内容没有改变的情况下,将不变的内容返回给客户端,直到这个连接被关闭。
此函数一般以如下几个关键字结束:

>pipe:表示进入pipe模式,请把请求控制权交给vcl_pipe函数。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

vcl_pass函数

此函数在进入pass模式时被调用,用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端,但不进行任何缓存,在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束:

>pass。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

lookup

表示在缓存中查找被请求的对象,并且根据查找的结果把控制权交给vcl_hit或者函数vcl_miss。

vcl_hit函数

在执行lookup指令后,在缓存中找到请求的内容后将自动调用该函数。
此函数一般以如下几个关键字结束:

>pass:表示进入pass模式,把请求控制权交给vcl_pass函数。
>deliver:表示将找到的内容发送给客户端,并把控制权交给vcl_deliver。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

vcl_miss函数

在执行lookup指令后,在缓存中没有找到请求的内容时自动调用该方法。此函数可用于判断是否需要从后端服务器获取内容。
此函数一般以如下几个关键字结束:

>pass。
>fetch:表示从后端获取请求的内容,并且把控制权交给vcl_fetch。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

vcl_fetch函数

在后端主机更新缓存并且获取内容后调用该方法,接着,通过判断获取的内容来决定是将内容放入缓存,还是直接返回给客户端。
此函数一般以如下几个关键字结束:

>pass。
>deliver:表示将找到的内容发送给客户端,并把控制权交给vcl_deliver。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

vcl_deliver函数

将在缓存中找到请求的内容发送给客户端前调用该方法。
此函数一般以如下几个关键字结束:

 >deliver:表示将找到的内容发送给客户端,并把控制权交给vcl_deliver。
>error code [reason]:表示返回“code”给客户端,并放弃处理该请求。

vcl_timeout函数

在缓存内容到期前调用该函数。
此函数一般以如下几个关键字结束:

>descard:表示从缓存中清楚该内容。
>fetch

vcl_discard函数

在缓存内容到期后或缓存空间不足时,自动调用该函数。
此函数一般以如下几个关键字结束:

>descard
>keep:表示将内容继续保留在缓存中。

1.Varnish 安装

  (1) 需要gcc

  (2) 需要pcre ,安装nginx的时候,已经装了

  (3) 需要libedit-dev,安装命令:yum install libedit-dev*

  (4) 去https://www.varnish-cache.org/ 下载,然后进行解压安装,示例如下:
    (1)先解压源码包,然后进入到这个包里面
    (2)安装命令示例如下:
      第一步:因为安装varnish需要pcre,因此先设置一下路径:
        export PKG_CONFIG_PATH=/usr/local/pcre/lib/pkgconfig
      第二步:
        ./configure --prefix=/usr/common/varnish
      第三步:
        配置后就依次 make , make install
      安装过后,如果从外面访问不了,多半是被防火墙挡住了,可以关闭掉防火墙:
        /sbin/service iptables stop

2.运行前的准备

  把配置文件default.vcl上传到 etc/varnish目录里面去

# This is a basic VCL configuration file for varnish.  See the vcl(7)
# man page for details on VCL syntax and semantics.
#
# Default backend definition.  Set this to point to your content
# server.
#
 backend default {
     .host = "127.0.0.1";
     .port = "8080";
	 .connect_timeout = 1s;
	 .first_byte_timeout = 5s;
	 .between_bytes_timeout = 2s;
 }
# ac1 purgeallow {
#	"127.0.0.1";
# }
#
# Below is a commented-out copy of the default VCL logic.  If you
# redefine any of these subroutines, the built-in logic will be
# appended to your code.
 sub vcl_recv {
	 if(req.request == "PURGE"){
		# if(!client.ip ~ purgeallow){
		#	error 405 "not allowed.";
		# }
		return(lookup);
	 }
	 if(req.request == "GET" && req.url ~ "\.(jpg|png|gif|swf|flv|ico|jpeg)$"){
		unset req.http.cookie;
	 }
	 if(req.request == "GET" && req.url ~ "(?!)\.jsp($|\?)"){
		return(pass);
	 }
     if (req.restarts == 0) {
		if (req.http.x-forwarded-for) {
			set req.http.X-Forwarded-For =
			req.http.X-Forwarded-For + ", " + client.ip;
		} else {
			set req.http.X-Forwarded-For = client.ip;
		}
     }
     if (req.request != "GET" &&
       req.request != "HEAD" &&
       req.request != "PUT" &&
       req.request != "POST" &&
       req.request != "TRACE" &&
       req.request != "OPTIONS" &&
       req.request != "DELETE") {
         /* Non-RFC2616 or CONNECT which is weird. */
         return (pipe);
     }
     if (req.request != "GET" && req.request != "HEAD") {
         /* We only deal with GET and HEAD by default */
         return (pass);
     }
     if (req.http.Authorization || req.http.Cookie) {
         /* Not cacheable by default */
         return (pass);
     }
     return (lookup);
 }

 sub vcl_pipe {
#     # Note that only the first request to the backend will have
#     # X-Forwarded-For set.  If you use X-Forwarded-For and want to
#     # have it set for all requests, make sure to have:
#     # set bereq.http.connection = "close";
#     # here.  It is not set by default as it might break some broken web
#     # applications, like IIS with NTLM authentication.
     return (pipe);
 }
#
 sub vcl_pass {
     return (pass);
 }
#
 sub vcl_hash {
     hash_data(req.url);
     if (req.http.host) {
         hash_data(req.http.host);
     } else {
         hash_data(server.ip);
     }
     return (hash);
 }
#
 sub vcl_hit {
     return (deliver);
 }
#
 sub vcl_miss {
     return (fetch);
 }
#
 sub vcl_fetch {
     if (beresp.ttl <= 0s ||
         beresp.http.Set-Cookie ||
         beresp.http.Vary == "*") {
# 		/*
# 		 * Mark as "Hit-For-Pass" for the next 2 minutes
# 		 */
 		set beresp.ttl = 120 s;
 		return (hit_for_pass);
     }
     return (deliver);
 }
#
 sub vcl_deliver {
     return (deliver);
 }
#
# sub vcl_error {
#     set obj.http.Content-Type = "text/html; charset=utf-8";
#     set obj.http.Retry-After = "5";
#     synthetic {"
# <?xml version="1.0" encoding="utf-8"?>
# <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
#  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
# <html>
#   <head>
#     <title>"} + obj.status + " " + obj.response + {"</title>
#   </head>
#   <body>
#     <h1>Error "} + obj.status + " " + obj.response + {"</h1>
#     <p>"} + obj.response + {"</p>
#     <h3>Guru Meditation:</h3>
#     <p>XID: "} + req.xid + {"</p>
#     <hr>
#     <p>Varnish cache server</p>
#   </body>
# </html>
# "};
#     return (deliver);
# }
#
 sub vcl_init {
 	return (ok);
 }
#
 sub vcl_fini {
 	return (ok);
 }

  

3.运行的基本命令示例

  进入/usr/common/varnish/sbin,运行下面的命令

  ./varnishd -f /usr/common/varnish/etc/varnish/default.vcl -s malloc,32M -T
  127.0.0.1:2000 -a 0.0.0.0:1111
  其中:1:-f 指定要运行的配置文件
     2: -s malloc,32M :–s 选项用来确定varnish使用的存储类型和存储容量,这里使用
     的是malloc类型(malloc是一个C函数,用于分配内存空间)
     3:-T 127.0.0.1:2000 : 指定varnish的管理ip和端口
     4: -a 0.0.0.0:1111 :指定varnish对外提供web服务的ip和端口
  接下来就可以测试一下了:
  http://192.168.0.106:1111/arch1/goods/toList ,这是访问varnish的
  http://192.168.0.106:8080/arch1/goods/toList ,这是直接访问Tomcat的

备注:192.168.0.106是我的虚拟机地址,

防火墙关闭:

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

4.关闭varnish

  到valish/sbin的路径下,运行 pkill varnishd

原文地址:https://www.cnblogs.com/likevin/p/10262193.html

时间: 2024-11-05 16:05:57

7.Varnish的相关文章

Apache+varnish(高性能开源HTTP加速器)搭建负载均衡集群

实验环境:RHEL6.5 实验环境4台 真机进行访问测试     willis.example.com         172.25.254.6 虚拟机1(缓存端)   varnish.example.com       172.25.254.8 虚拟机2(服务器端1) web1.example.com     172.25.254.10 虚拟机3(服务器端2) web2.example.com     172.25.254.20 两台服务器主要用于负载均衡实验. 实验内容:1.服务器端安装Ap

varnish 4.0强制gzip压缩

如果源服务器没有开启gzip, 那么无论客户端是否支持,默认情况下得到的结果总是不压缩的. 源服务器未启用gzip的情况,强制将取到的内容gzip压缩后存入缓存,然后客户端就可以得到gzip压缩结果,配置代码片段: sub vcl_backend_response { if (beresp.http.content-type ~ "(text|javascript|txt)" ) { set beresp.do_gzip = true; } varnish 4.0默认是接收压缩内容的,

Haproxy + Varnish 实现WEB静态页面缓存

一.缓存介绍及Haproxy+Varnish架构图: 1.)简介:现阶段的互联网时代,缓存成为一个必不可少的一环,不论是对于整体架构的优化,减少服务器的压力,加速用户访问速度,都是需要用到缓存.而缓存的种类也是很多,例如CDN,Squid,Memcached,Varnish,已经成为一个中型,大型架构中基本的实现. 2.)CDN缓存技术是根据全国各地的用户,直接缓存到离用户最近的地方. 3.)Squid是处于前端的缓存,并且可以用作为正向代理,反向代理,透明代理. 4.)Memcached主要用

varnish简单学习

操作系统:redhat5.5 前端服务器:varnish cache 2.1.5 监听端口8080 后端服务器:tengine 1.4.6 监听端口80 接着,建立varnish用户以及用户组,并且创建Varnish缓存目录和日志目录:[[email protected] ~]#useradd  -s /sbin/nologin varnish[[email protected] ~]#mkdir /data/varnish/cache[[email protected] ~]#mkdir /d

记一次varnish异常/故障

公司一varnish集群运行很久了,一直很稳定,没发现什么问题.最近开发那边反馈新传的静态文件访问不了.出现以下错误: Error 503 Service Unavailable Guru Meditation: XID: 1267841165 cache server 5443 检查varnish启动配置, ps -ef | grep varnish usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /etc/varnish/default

varnish

varnish1.缓存相关的HTTP首部 HTTP协议提供了多个首部用以实现页面缓存及缓存失效的相关功能,这其中最常用的有:(1)Expires:用于指定某web对象的过期日期/时间,通常为GMT格式:一般不应该将此设定的未来过长的时间,一年的长度对大多场景来说足矣:其常用于为纯静态内容如JavaScripts样式表或图片指定缓存周期:(2)Cache-Control:用于定义所有的缓存机制都必须遵循的缓存指示,这些指示是一些特定的指令,包括public.private.no-cache(表示可

varnish安装及配置详解

varnish系统架构: varnish主要运行两个进程:Management进程和Child进程(也叫Cache进程). Management进程主要实现应用新的配置.编译VCL.监控varnish.初始化varnish以及提供一个命令行接口等.Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行,如果在指定的时长内未得到Child进程的回应,Management将会重启此Child进程. Child进程包含多种类型的线程,常见的如:Acceptor线程:接收新的连接

Varnish基础配置实现动静分离web站点

由于一个web站点的程序的访问具有局部性特征:时间上的局部性:一个数据被访问过之后,可能很快会被再次访问到:空间局部性:一个数据被访问时,其周边的数据也有可能被访问到;varnish可将这部分数据缓存下来.缓存的数据存在被访问较频繁的数据可以称其为热区:缓存同样存在局部性:时效性:如果缓存空间耗尽:则采用LRU,最近最少使用算法:将过期的缓存清理掉 varnish的基本工作原理: Varnish通过类似于HTPP反向代理的方式将可以用来缓存的数据缓存下来直接响应给客户端的缓存数据,如果缓存中没有

varnish解读

缓存相关的基础 根据数据是否可以缓存 私有数据:一般为用户的私有数据,不能缓存 共有数据:这类数据为共有数据,大部分都可缓存 缓存有效性判断机制 过期时间 HTTP/1.0 Expires:过期时间 HTTP/1.1 Cache-Control:max-age= Cache-Control: s-maxage= 条件式请求 Last-Modified/If-Modified-Since Etag/If-None-Match 缓存层级: 私有缓存:用户代理的本地缓存机制,一般为浏览器自己的缓存 公

Varnish部署

上缓存服务器的目的: 1.减少clint对后端服务器的访问压力. 2.在静态资源较多的情况下,服务端可以快速对clint的访问做出相应. 缓存服务器目前比较有名气,市面上缓存代理服务器使用比较多的Varnish/squid. squid的主要是缓存大文件. Varnish主要缓存静态资源,如图片. Varnish版本的区别: 新版本Varnish4,client/backend分离,新的vanishlog查询语言,安全方面据说有提升. 首先是必须定义版本号: vcl 4.0.VMOD's更独立化