安装varnish，安装包需要到官网下载http://www.varnish-cache.org/releases/index.html
varnish的程序环境：
/etc/varnish/varnish.params：配置varnish服务进程的工作特性，例如监听的地址、端口及缓存机制等； /etc/varnish/default.vcl：配置各Child/Cache线程的工作属性； /usr/sbin/varnishd：ansible的主程序 /usr/bin/varnishadm：命令行接口工具 共享内存日志的交互工具： /usr/bin/varnishhist /usr/bin/varnishlog /usr/bin/varnishncsa /usr/bin/varnishstat /usr/bin/varnishtop /usr/bin/varnishtest：测试工具程序 /usr/sbin/varnish_reload_vcl：vcl配置文件重载程序，在varnishadm命令中有一个内置命令vcl.load可达到同样效果 [[email protected] ~]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 systemd unit file： /usr/lib/systemd/system/varnish.service：varnish服务 /usr/lib/systemd/system/varnishlog.service：日志持久的服务 /usr/lib/systemd/system/varnishncsa.service：日志持久的服务
varnish的缓存存储机制：
malloc [，size]:内存存储，size用于定义空间大小；重启后所有缓存项失效； file [，path[,size[,granularity]]]：文件格式存储，是一个黑盒文件（对用户不可见，其组织格式，用户是无法参与的），重启后所有缓存项失效； persistent [path,size]：文件格式存储，黑盒文件，重启后所有缓存项有效，但目前在实验阶段；
varnish程序的选项：
/etc/varnish/varnish.params文件的变量和/usr/lib/systemd/system/varnish.service文件是相联系的 程序选项：/etc/varnish/varnish.params文件 -a address[:port][,address[:port][...]，默认为6081端口； -T address[:port]，默认为6082端口； -s [name=]type[,options]，定义缓存存储机制； -u user -g group -f config：VCL配置文件； -F：运行于前台； ... 运行时参数：/etc/varnish/varnish.params文件， DEAMON_OPTS DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300" -p param=value：设定运行参数及其值； 可重复使用多次； -r param[,param...]: 设定指定的参数为只读状态；
varnishadm -S /etc/varnish/secret -T [ADDRESS:]PORT 有以下内置命令
help [<command>] ping [<timestamp>] auth <response> quit banner status：显示当前varnish服务状态 start：启动进程 stop：停止进程 vcl.load <configname> <filename>：手动加载一个配置文件版本（原文件修改了） vcl.inline <configname> <quoted_VCLstring> vcl.use <configname>：指定要使用的配置列表中的某个配置文件（版本） vcl.discard <configname>：删除某个版本的配置文件 vcl.list：列出编译成功的配置列表 param.show [-l] [<param>]：列出可使用的配置参数 param.set <param> <value>：修改某个配置参数 eg：param.set thread_pool_max 1024 panic.show panic.clear storage.list vcl.show [-v] <configname> backend.list [<backend_expression>]：列出后端服务器列表 backend.set_health <backend_expression> <state>：定义后端主机的健康状态的检查机制 ban <field> <operator> <arg> [&& <field> <oper> <arg>]... ban.list 配置文件相关： vcl.list vcl.load：装载，加载并编译； vcl.use：激活； vcl.discard：删除； vcl.show [-v] <configname>：查看指定的配置文件的详细信息； 运行时参数： param.show -l：显示列表； param.show <PARAM> param.set <PARAM> <VALUE> 缓存存储： storage.list 后端服务器： backend.list
VCL:
varnish的规则配置语言，是“域”专有类型的配置语言 VCL有多个状态引擎，状态之间存在相关性，但彼此间互相隔离；每个状态引擎可使用return(x)指明关联至哪个下一级引擎；如：vcl_hash --> return(hit) --> vcl_hit
vcl流程图
状态引擎切换机制：
request报文由vcl_recv接收，response报文由vcl_deliber发送，几种常用切换如下： （1）vcl_recv --> vcl_hash --> vcl_hit --> vcl_deliver （2）vcl_recv --> vcl_hash --> vcl_miss --> vcl_backend_fetch --> vcl_backend_response(vcl_backend_error) --> vcl_dliver （3）vcl_recv --> vcl_hash --> vcl_purge --> vcl_synth （4）vcl_recv --> vcl_hash --> vcl_pipe 两个特殊的引擎： vcl_init：在处理任何请求之前要执行的vcl代码：主要用于初始化VMODs； vcl_fini：所有的请求都已经结束，在vcl配置被丢弃时调用；主要用于清理VMODs；
vcl的语法格式：
(1) VCL files start with vcl 4.0; 以下语法适合4.0，需放在default.vcl文件第一行
(2) //, # and /* foo */ for comments; 用于注释
(3) Subroutines（子程序） are declared with the sub keyword;子例程使用sub关键字进行声明，例如sub vcl_recv { ... }
(4) No loops, state-limited variables；不支持循环，支持限于引擎的内建的状态变量（req* , bereq* , obj* , ...）
(5) Terminating statements with a keyword for next action as argument of the return() function, i.e.: return(action)；
(6) Domain-specific; 域专用状态
The VCL Finite（有限的） State Machine（vcl的有限状态机）
(1) Each request is processed separately; 每个请求都被单独处理 (2) Each request is independent from others at any given time; 每个请求在任何时间与其他请求之间都是隔离的 (3) States are related（关联的）, but isolated（分离的）; (4) return(action); exits one state and instructs（命令） Varnish to proceed to the next state; 状态切换是靠return完成的 (5) Built-in VCL code is always present and appended（附加） below your own VCL; 内建vcl代码一直有效并附加在你自定义的vcl之后（在varnishadm中使用vcl.show查看）
VCL Built-in Functions and Keywords（vcl的内建函数和keyword）
函数： regsub(str, regex, sub)：基于"str"字符串，被regex匹配到的字符串替换为"sub" regsuball(str, regex, sub)：全局替换 ban(boolean expression) hash_data(input) synthetic(str) Keywords: call subroutine return(action) new set unset 操作符： ==, !=, ~, >, >=, <, <= 逻辑操作符：&&, ||, ! 变量赋值：= 示例：如下图
varnish变量类型：
内建变量： req.*：request，表示由客户端发来的请求报文相关； req.http.* req.http.User-Agent, req.http.Referer, ... bereq.*：由varnish主机发往后端主机的httpd请求相关； bereq.http.* beresp.*：由后端主机响应给varnish主机的响应报文相关； beresp.http.* resp.*：由varnish响应给client相关； obj.*：存储在缓存空间中的缓存对象的属性；只读； 常用变量： bereq.*, req.*： bereq.http.HEADERS：http请求报文的某个首部 bereq.request：请求方法； bereq.url：请求的url； bereq.proto：请求的协议版本； bereq.backend：指明要调用的后端主机； req.http.Cookie：客户端的请求报文中Cookie首部的值； req.http.User-Agent ~ "chrome" beresp.*, resp.*： beresp.http.HEADERS beresp.status：响应的状态码； reresp.proto：协议版本； beresp.backend.name：BE主机的主机名； beresp.ttl：BE主机响应的内容的余下的可缓存时长； obj.* obj.hits：此对象从缓存中命中的次数； obj.ttl：对象的ttl值 server.* server.ip server.hostname client.* client.ip 用户自定义： set unset
示例1：强制对某类资源的请求不检查缓存：
sub vcl_recv {
if (req.url ~ "(?i)^/(login|admin)"){
return(pass); （login或admin开头的URL直接miss，不查询缓存）
}
}
此列不能再浏览器中测试，因为浏览器会在miss后varnish后直接请求后端主机，用下面命令查看
[[email protected] ~]# curl -I http://10.1.51.10/login/index.html
示例2：对于特定类型的资源，例如公开的图片等，取消其私有标识，并强行设定其可以由varnish缓存的时长；
sub vcl_backend_response {
if (beresp.http.cache-control !~ "s-maxage") {
if (bereq.url ~ "(?i)\.(jpg|jpeg|png|gif|css|js)$") {
unset beresp.http.Set-Cookie;
set beresp.ttl = 3600s;
}
}
}
缓存对象的修剪（仅授权管理员）：purge（清理单个缓存）, ban （清理能被模式匹配到的所有缓存）
示例1：
sub vcl_recv {
if (req.method == "PURGE") {
return (purge); （定义请求方法为PURGE）
}
}
sub vcl_purge {
return(synth(200,"purged")); （当purge请求时，返回自定义状态）
}
需要使用curl命令测试，先用-X选项指定用PURGE方法请求，此时会清理对应请求的缓存，再用-I选项时可看到结果为miss。
示例2：限制指定用户可使用purge；
acl purgers {
"127.0.0.0"/8;
"10.1.0.0"/16;
} （定义预习使用purge的用户）
sub vcl_recv {
if (req.method == "PURGE") {
if (!client.ip ~ purgers) {
return(synth(405,"Purging not allowed for " + client.ip));
}
return(purge);
}
}
如果非指定用户（ip）访问，会返回405状态码（curl命令测试）
director轮询
（1）不同请求响应不同内容
backend default {
.host = "10.1.51.20";
.port = "80";
}
backend appsrv {
.host = "10.1.51.30";
.port = "80";
}
sub vcl_recv {
if (req.url ~ "(?i)\.php$") {（后缀为php的则访问主机appsrv，其他访问default）
set req.backend_hint = appsrv;
}else {
set req.backend_hint = default;
}
}
（2）轮询，负载均衡效果
import directors;
backend default {
.host = "10.1.51.20";
.port = "80";
}
backend appsrv {
.host = "10.1.51.30";
.port = "80";
}
sub vcl_init {
new websrvs = directors.round_robin();
websrvs.add_backend(default);
websrvs.add_backend(appsrv);
}
sub vcl_recv {
set req.backend_hint = websrvs;
}
使用curl命令进行测试可以更好的看到效果，浏览器会在命中后，在缓存有效期内都只会返回第二次命中的后端主机的记录。
后端主机的健康检测：
.probe：定义健康状态检测方法； .url：检测时请求的URL，默认为”/"; .request：发出的具体请求； .request = "GET /.healthtest.html HTTP/1.1" "Host: www.magedu.com" "Connection: close" .window：基于最近的多少次检查来判断其健康状态； .threshold：最近.window中定义的这么多次检查中至有.threshhold定义的次数是成功的；如.window=5 .threshhold=3，那5次检测中至少3次成功的才为成功 .interval：检测频度； .timeout：超时时长； .expected_response：期望的响应码，默认为200；
示例：
probe check {
.url = "/.healthcheck.html"; （在根目录中定义一个测试网页）
.window = 5;
.threshold = 4;
.interval = 2s;
.timeout = 1s;
}
backend default {
.host = "10.1.51.20";
.port = "80";
.probe = check;
}
backend appsrv {
.host = "10.1.51.30";
.port = "80";
.probe = check;
}
注意probe放置的位置，在最前面是，如果测试失败则该主机后面的网页不能访问
在varnishadm中使用内置命令backend.list可以查看命中（测试）的结果，可使用backend.set_health命令手动设置后端主机的健康状态（sick，healthy 永久哦）
varnish的运行参数：param.show -l查看所有参数
线程相关的参数： 在线程池内部，其每一个请求由一个线程来处理； 其worker线程的最大数决定了varnish的并发响应能力； thread_pools：Number of worker thread pools. 最好小于或等于CPU核心数量； thread_pool_max：The maximum number of worker threads in each pool.每个线程池的最大线程数 thread_pool_min：The minimum number of worker threads in each pool. 额外意义为“最大空闲线程数”； 最大并发连接数=thread_pools * thread_pool_max thread_pool_timeout：Thread idle threshold. Threads in excess of thread_pool_min, which have been idle for at least this long, will be destroyed.每个线程空闲超时时长，超时就杀掉，但是不能低于最小线程数； thread_pool_add_delay：Wait at least this long after creating a thread. thread_pool_destroy_delay：Wait this long after destroying a thread. 设置方式：在varnishadm中 vcl.param 永久有效的方法： varnish.params文件最后一行 DEAMON_OPTS="-p PARAM1=VALUE -p PARAM2=VALUE"
varnish日志区域：
1、varnishstat - Varnish Cache statistics -1 ：将某时刻的状态全部列出 -1 -f FILED_NAME -l：可用于-f选项指定的字段名称列表； 示例： # varnishstat -1 -f MAIN.cache_hit -f MAIN.cache_miss 2、varnishtop - Varnish log entry ranking -1 Instead of a continously updated display, print the statistics once and exit. -i taglist，可以同时使用多个-i选项，也可以一个选项跟上多个标签； -I <[taglist:]regex> -x taglist：排除列表 -X <[taglist:]regex> 示例： # varnishtop -I ReqURL:/ -I ReqURL:/ 3、varnishlog - Display Varnish logs 4、 varnishncsa - Display Varnish logs in Apache / NCSA combined log format
时间： 2024-10-13 18:02:30