Varnish Cache

Varnish 是一款开源的HTTP加速器和反向代理服务器，它的主要特点有：

（1）是基于内存缓存，重启后数据将消失。
（2）利用虚拟内存方式，io性能好。
（3）支持设置0~60秒内的精确缓存时间。
（4）VCL配置管理比较灵活。
（5）32位机器上缓存文件大小为最大2G。
（6）具有强大的管理功能，例如top，stat，admin，list等。
（7）状态机设计巧妙，结构清晰。
（8）利用二叉堆管理缓存文件，达到积极删除目的。

与Squid服务器相比，Varnish的优点包括：

1、稳定性很高。两者在完成相同负荷的工作时，Squid服务器发生故障的几率要高于Varnish，因为Squid需要经常重启。

2、访问速度更快。采用了“Visual Page Cache”技术，所有缓存数据都直接从内存读取；而Squid是从硬盘读取缓存数据，因此Varnish在访问速度方面会更快。

3、支持更多的并发连接。因为Varnish的TCP连接释放要比Squid快，所以在高并发连接情况下可以支持更多的TCP连接。

4、可以通过管理端口，使用正则表达式批量清除部分缓存，而Squid做不到。

缺点也有：

1、在高并发状态下CPU、I/O和内存等资源开销都高于Squid。
2、进程一旦挂起、崩溃或者重启，缓存数据都会从内存中完全释放，此时所有请求都会被发送到后端服务器，在高并发情况下，这会给后端服务器造成很大压力。

varnish 安装：

wget http://repo.varnish-cache.org/source/varnish-4.0.0.tar.gz
tar -zxvf varnish-4.0.0.tar.gz
cd varnish-4.0.0
./autogen.sh
./configure --prefix=/usr/local/varnish

varnish 运行：

varnishd -f default.vcl -s malloc,1024m -T 127.0.0.1:200 -a 0.0.0.0:80

其中，-f 指定VCL 配置文件，-s 指定内存分配类型和大小，-T 指定文本管理接口， -a 指定服务监听IP和端口；

VCL（varnish configuration language）是varnish配置语言，在执行VCL时，varnish会把其转换成二进制代码。

VCL语法特点

1. 块是由花括号分隔，语句以分号结束，使用 ‘#‘ 添加注释；
2. VCL支持以下运算符：=（赋值），==（对比），~（匹配），!（否定），&&（逻辑与），||（逻辑或）；
3. 在VCL中，有三个重要的数据结构req（client request）、beresp（backend response）和obj（cache object）；
4. 两个字符串的连接，它们之间没有任何运算符；
5. VCL没有用户自定义的变量，但可以使用set关键字设置变量值，例如set beresp.ttl=5d；
6. 使用set关键字设置http头，使用unset关键字移除http头，例如

   set req.http.User-Agent = "unknown";
   unset req.http.Range;

7. VCL有if/else的条件语句，但没有循环语句；
8. 支持include，加载配置文件，例如

   include "foo.vcl";

9. 支持import，加载模块，例如

10. import std;
    sub vcl_recv {
        std.log("foo");
    }

定义backend

probe healthcheck {
    .url = "/test.jpg";    # 定义健康检查的页面
    .interval = 6s;        # 探测请求的发送周期，默认为5s
    .timeout = 0.3 s;      # 每次探测请求的过期时长，默认为2s
    .window = 8;           # 设定在判定后端主机健康状态时基于最近多少次的探测进行，默认为8
    .threshold = 3;        # 在.window中指定的次数中，至少有多少次是成功的才判定后端主机正健康运行，默认为3
    .initial = 3;          # Varnish启动时对后端主机至少需要多少次的成功探测，默认同.threshold
}

backend default {
    .host = "127.0.0.1";
    .port = "80";　　 .probe = healthcheck;　　 .host_header = "www.example.com";
    .connect_timeout = 60s;
    .first_byte_timeout = 60s;
    .between_bytes_timeout = 60s;
    .max_connections = 800;
}

其中，host选项是必须显式赋值的，其它选项都可选；

VCL可以把多个backends聚合成一个组（director），当组里有一个backend挂掉后，可以把流量导入其他健康的backend；

director可以采用不同的算法选择backend：

1. random，根据设置的权值（.weight参数）来选择backend；
2. round-robin，轮询；
3. client，根据client.identity来选择backend，可以设置client.identity的值为session cookie来标识backend；

director b2 random {
  .retries = 5;
  {
    // We can refer to named backends
    .backend = b1;
    .weight  = 7;
  }
  {
    // Or define them inline
    .backend  = {
      .host = "fs2";
    }
  .weight = 3;
  }
}

定义ACL（Access Control List）

ACL用于定义Varnish的访问控制机制。

acl localnetwork {
    "localhost";    # myself
    "192.0.2.0"/24; # and everyone on the local network
    ! "192.0.2.23"; # except for the dial-in router
}

if (client.ip ~ localnetwork) {
    return (pipe);
}

VCL 代码流程

VCL内置函数

• vcl_recv
  用于接收和处理请求，当请求到达并成功接收后被调用，vcl_recv中的数据结构主要是req。
• vcl_fetch
  获取backend响应后调用该方法，通过判断获取的内容来决定是将内容放入缓存，还是直接返回给客户端，vcl_fetch的主要数据结构是beresp；
• vcl_pipe
  将请求直接传递至backend；
• vcl_pass
  
  将请求直接传递至backend，并将backend的响应发送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容；
• vcl_hash
• vcl_deliver
  将在缓存中找到的请求的内容发送给客户端前调用此方法；
• vcl_hit
  执行lookup指令后，在缓存中找到请求的内容将自动调用该函数；
• vcl_miss
  
  执行lookup指令后，在缓存中没有找到请求的内容将自动调用该函数，此函数可用于判断是否需要从backend获取内容；
• vcl_error
  出现错误时调用此函数；

VCL 动作（Actions）

1. pass，把请求控制权交给vcl_pass函数；
2. lookup，在缓存中查找被请求的对象，并根据查找的结果把控制权交给函数vcl_hit或vcl_miss；
3. pipe，把请求控制权交给vcl_pipe函数；
4. deliver，将在缓存中找到的内容发送给客户端，并把控制权交给函数vcl_deliver；
5. esi，ESI-process，
6. error code [reason]，返回code给客户端，并放弃处理该请求；

请求到达varnish时：

req.backend     指定对应的后端主机
server.ip     表示服务器 IP
client.ip     表示客户端 IP
req.quest     只是请求的类型，例如 GET、HEAD 等
req.url     指定请求的地址
req.proto     表示客户端发起请求的 HTTP 协议版本
req.http.header     表示对应请求中的 HTTP 头部信息
req.restarts     表示重启次数，默认最大值为 4

varnish向backend发送请求时：

beresp.requset     指定请求类型，例如 GET、HEAD 等
beresp.url     表示请求地址
beresp.proto     表示客户端发起请求的 HTTP 协议版本
beresp.http.header     表示对应请求中 HTTP 头部信息
beresp.ttl     表示缓存的生存周期，cache 保留时间（s）

backend获取内容时：

obj.status     返回内容的请求状态码，例如 200、302、504 等
obj.cacheable     返回的内容是否可以缓存
obj.valid     是否有效的 HTTP 请求
obj.response     返回内容的请求状态信息
obj.proto     返回内容的 HTTP 版本
obj.ttl     返回内容的生存周期，也就是缓存时间，单位秒
obj.lastuse     返回上一次请求到现在的时间间隔，单位秒

响应客户端时：

resp.status     返回给客户端的 HTTP 代码状态
resp.proto     返回给客户端的 HTTP 协议版本
resp.http.header     返回给客户端的 HTTP 头部消息
resp.response     返回给客户端的 HTTP 头部状态