varnish基础

varnish概念

初步认识

首先来跟我学习，v~a~r~n~i~s~h~~ ，会了没有，是不是很简单。

当然还有很重要的一个概念，它是高性能缓存服务器，举个例子。

好比我们要去买东西，所有的我们需要的东西是在超市厂家生产出来的，我们需要的话去超市厂家取。这代表离服务器端近。

在好比我们要去超市买东西，这个超市厂家负责送货到家门口楼下的超市，那我们肯定选择离我们自己近的。这就是代表离客户端近。

而缓存的功能就是把客户端经常需要“买”的东西送到客户端门口，毕竟web的存在就是为了给客户端提供服务的，所以缓存是一个非常重要的概念。那怎么送到客户端门口呢把数据，我们最常接触的就是浏览器缓存，比如你访问过一个网站，第一次打开需要加载，但是如果你打开了第二个页面感觉又想回到上一个页面直接返回就可以，此时并不需要重新加载，这就是缓存的一种。

缓存运行时遵从的理念

时间局部性：一个数据被访问过之后，被统计接下来被访问的概率。

空间局部性：一个数据被访问时，周边数据被访问的概率。

这些称为缓存的热区，那空间满了怎么办？使用LRU算法，根据时间最近和频率最少使用来清理缓存。

还有需要注意的一点是，以上所有的数据都是经过客户端一段时间的访问来统计出来的，而且要知道缓存是重启失效的，所以你懂得，没事可以把服务器经常关机或者重启试试，肯定特别刺激。

varnish程序选项以及配置

调用方式看下图；

VCL语法格式：

/etc/varnish/default.vcl

  • 必须以VCL 4.0;开始；
  • //，  # ，/* foo */  全部为注释；
  • 根据不同的需求把不同的配置写进不同的配置段；
    • sub vcl_recv {

　　　　　　}

    • sub vcl_backend_response {

　　　　　　}

    • sub vcl_deliver {

　　　　　　}

  • 终止语句return（）没有返回值；
  • 不支持循环；
  • 众多内置变量，便令的可调用位置和state engine 有密切关系；
  • 支持众多操作符，=赋值 ==等值比较 ~模式匹配 ！取反  &&逻辑与  || 逻辑或；
  • “域”专用语言只能用在特定的“域”上；

/etc/varnish/varnish.params

  • RELOAD_VCL=1  ##启动时会不会自动加载VCL配置文件，1为确认；
  • VARNISH_VCL_CONF=/etc/varnish/default.vcl  ##默认加载的缓存策略文件；
  • VARNISH_SECRET_FILE=/etc/varnish/secret  ##秘钥文件存储位置；
  • VARNISH_USER=varnish   ##所属用户
  • VARNISH_GROUP=varnish  ##所属组

VCL配置文件重载：varnish_reload_vcl

缓存存储机制：

  • .malloc[,size]：内存存储,size用来定义缓存空间大小，重启失效。
  • .file,path[,size]:文件存储，重启失效。
  • .persistent,path,size:文件存储，重启有效，但是实验阶段不稳定不建议使用。

内置变量机制：

req.*：request，表示由客户端发来的请求报文相关；

bereq.*：由varnish发往BE（后端主机）的httpd请求相关；

bereq.http.HEADERS

bereq.request：请求方法；

bereq.url：请求的url；

bereq.proto：请求的协议版本；

bereq.backend：指明要调用的后端主机；

req.http.Cookie：客户端的请求报文中Cookie首部的值；

req.http.User-Agent ~ "chrome"

beresp.*：由BE主机响应给varnish的响应报文相关；

resp.*：由varnish响应给client相关；

beresp.*, resp.*：

beresp.http.HEADERS

beresp.status：响应的状态码；

reresp.proto：协议版本；

beresp.backend.name：BE主机的主机名；

beresp.ttl：BE主机响应的内容的余下的可缓存时长；

obj.*：存储在缓存空间中的缓存对象的属性；只读；

obj.hits：此对象从缓存中命中的次数；

obj.ttl：对象的缓存时长

obj.grace ：缓存时长宽限期

下面图为变量应用的位置以及是否可执行读或写；

使用两个centos7.3实验演示，看起来清晰一点。

centos 1 192.168.150.161 安装httpd

centos 2 192.168.150.160 安装varnish

编辑centos 1 httpd配置文件;

[root@localhost: script]# vim /var/www/html/index.html 

<h1> centos7.3 httpd test page </h1>

systemcel start httpd ##启动服务；

编辑centos 2 varnish 配置文件 ;

[[email protected]: script ]# vim /etc/varnish/varnish.params ##程序选项文件，配置varnish服务进程的工作特性，例如监听地址端口以及缓存机制;

......

13 # VARNISH_LISTEN_ADDRESS=192.168.1.5 ##监听在哪个地址，这里注释了代表监听在本机所有的IP;

14 VARNISH_LISTEN_PORT=80 ##监听本机的哪个端口默认为6081;

15

16  # Admin interface listen address and port ##配置管理员选项;

17 VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1 ##监听在本机那个IP;

18 VARNISH_ADMIN_LISTEN_PORT=9877 ##监听在本机那个端口;

.....

24 # man page for details.

25 VARNISH_STORAGE="file,/data/varnish,1g" ##默认存在缓存中这里配置为存在磁盘，文件目录，以及文件大小，目录需要手动创建并且需要设置varnish用户为属主与属组;

......

[[email protected]ocalhost: script ]# /etc/varnish/default.vcl ##配置各Child/Cache线程的缓存策略,先把httpd配置为后端主机;

......

15 # Default backend definition. Set this to point to your content server.

16 backend default { ##定义后端主机;

17 　　.host ="192.168.150.161"; ##默认是127.0.0.1，改为httpd服务器IP;

18　　 .port = "80"; ##默认为8080，改为80;

19　　 }

20

21 sub vcl_recv {

22

22

23　　 if (req.method != "GET" &&   ##设置默认策略，请求方法如果不是GET,HEAD,PUT,POST,TRACE,IPTIONS,DELETE,其中一个，则跳转至pipe，避免有比较老的系统不能访问网站；

24 　　　　req.method != "HEAD" &&

25 　　　　req.method != "PUT" &&

26 　　　　req.method != "POST" &&

27 　　　　req.method != "TRACE" &&

28 　　　　req.method != "OPTIONS" &&

29 　　　　req.method != "DELETE") {

30 　　return (pipe);

31 　　}

32

33 　　if (req.method != "GET" && req.method != "HEAD") {  ##如果请求方法不是GET,HEAD则跳转至pass；

34 　　　　return (pass);

35 　　}

36 　　if (req.http.Authorization || req.http.Cookie) {   ##如果请求中有认证相关的信息或者cookie信息则跳转至pass；

37 　　　　return (pass);

38 　　}

39 　　return (hash);

40  }

[[email protected]: varnish]# mkdir /data/varnish -pv ##创建缓存文件目录

systemctl start varnish ##启动服务

使用浏览器访问192.168.150.157 基本框架已经搭好。

配置centos 1

[[email protected]: varnish]# mkdir /var/www/html/{login,admin} -pv

[[email protected]: varnish]# echo 1111 >   /var/www/html/login/index.html

[[email protected]: varnish]# echo 1111 >   /var/www/html/admin/index.html

配置centos 2 

[[email protected]: varnish]# vim /etc/varnish/default.vcl

sub vcl_recv {

　　if (req.url ~ "(?i)^/(login|admin)") {  ##表示如果访问的是login或者admin任何文件则去硬盘中找;
　　　　return(pass);
　　}

}

[[email protected]: varnish]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:9877   ##交互式登录 -S 指定秘钥文件  -T 指定本机127.0.0.1以及自己配置的端口；

vcl.load test1 default.vcl    ##从default.vcl配置文件中装载进缓存，命名为 test1，需要注意，这里是装载进的缓存，重启失效。使用vcl.show test1 可以查看配置 加 -v显示详细配置；
200
VCL compiled.

vcl.list   ##查看所有列表，test1已经存在 但是非活动状态；

200
active 0 boot
available 0 test1

vcl.use test1  ##启用test1 
200
VCL ‘test1‘ now active

查看访问网页 http://192.168.150.160/login/因为有关键字，摁F12，可以看到并没有缓存

[[email protected]: varnish]# vim /etc/varnish/default.vcl

sub vcl_deliver {   ## 定义

　　if (obj.hits>0) {    ##如果访问记录大于等于1次；
　　　　set resp.http.X-Cache = "HIT via " + server.ip;    ## 自定义首部 为HIT vai + IP，空格要自己加 看起来整齐一点；
　　} else {   ##否则；
　　　　set resp.http.X-Cache = "MISS via " + server.ip;   ## 自定义首部为 MISS via ；
　　}

}

记得自己要去 varnish交互式界面同步 ；

vcl.load test2 default.vcl  
200
VCL compiled.

vcl.use test2   ##生效新的配置test2
200
VCL ‘test2‘ now active

第一次访问 MISS 

第二次刷新 已经显示HIT;

清缓存

ban（banning）为禁用缓存 使用方法一样 ；

vim /etc/varnish/default.vcl

acl purgers {   ##首先要定义组
　　"127.0.0.1"/8;
　　"192.168.150.160"/16;
}

sub vcl_recv {

　　if (req.method == "PURGE") {  ##如果请求方法是PURGE;
　　　　if (!client.ip ~ purgers) {  ##基于上面的基础 如果请求的IP 为定义的acl控制purgers组内的IP；
　　　　　　return(synth(405,"Purging not allowed for " + client.ip));  ##返回值为405 中间加上内容 后面加上访问者IP；
　　　　}
　　return(purge);  ##跳转至PURGE;
　　}  ##这样如果客户端请求过有缓存的话使用purge方法请求一次会清空缓存；在访问就会MISS

}

 使用curl 方法指定请求方法来访问验证试验结果；

[[email protected]: /root]# curl -I http://192.168.150.160/index.html   ##先请求 为HIT 代表有之前有缓存；
HTTP/1.1 200 OK
Date: Sat, 01 Jul 2017 11:35:42 GMT
Server: Apache/2.4.6 (CentOS) PHP/5.4.16
Last-Modified: Sat, 01 Jul 2017 02:56:40 GMT
ETag: "25-55338aedeff49"
Content-Length: 37
Content-Type: text/html; charset=UTF-8
X-Varnish: 62 52
Age: 112
Via: 1.1 varnish-v4
X-Cache: HIT via 192.168.150.160   ##显示为HIT
Connection: keep-alive

[[email protected]: /root]# curl -X PURGE http://192.168.150.160/imdex.html<!DOCTYPE html>   ##使用PURGE 方法请求；
<html>
<head>
<title>405 Purging not allowed for 192.168.150.160</title>
</head>
<body>
<h1>Error 405 Purging not allowed for 192.168.150.160</h1>   ##返回值为我们设定的405 以及IP ；
<p>Purging not allowed for 192.168.150.160</p>
<h3>Guru Meditation:</h3>
<p>XID: 65584</p>
<hr>
<p>Varnish cache server</p>
</body>
</html>

[[email protected]: /root]# curl -I http://192.168.150.160/index.html   ##再次请求发现MISS；
HTTP/1.1 200 OK 
Date: Sat, 01 Jul 2017 11:38:10 GMT
Server: Apache/2.4.6 (CentOS) PHP/5.4.16
Last-Modified: Sat, 01 Jul 2017 02:56:40 GMT
ETag: "25-55338aedeff49"
Content-Length: 37
Content-Type: text/html; charset=UTF-8
X-Varnish: 65586
Age: 0
Via: 1.1 varnish-v4
X-Cache: MISS via 192.168.150.160  ##MISS 代表缓存已清空
Connection: keep-alive

 定义多个虚拟主机；

[[email protected]: varnish]# vim /etc/varnish/default.vcl

13 vcl 4.0;
14
15 import directors;  ##首先一定要调用这个模块，否则不能定义；
16
......
22 backend web1 {   ##定义backend主机1
23　　 .host ="192.168.150.161";
24　　 .port = "80";
25 }
26 backend web2 { ##定义backend主机2； 
27 　　 .host ="192.168.150.152";  
28　　 .port = "80";
29 }
30 sub vcl_init { ##初始化组
31·        new web = directors.round_robin();  ##定义web为组名，directors为模块， round_robin为调度方法；
32　　  web.add_backend(web1);  ##添加主机1至web组，是可以加权重的，如果加权重是这样写（web1,2）主机名字后面逗号隔开写上权重；
33 　　 web.add_backend(web2);  ##添加主机2至web组；
34 }
35
36
37 sub vcl_recv {
38
39 　　 set req.backend_hint = web.backend();  ##调用组

40 }

此时添加了一个主机 centos 3 IP为192.168.150.152

安装httpd

[[email protected] ~]# mkdir /var/www/html/{login,admin} -pv

[[email protected] ~]# echo centos7.3 httpd test page2 > /var/www/html/login/index.html

[[email protected] ~]# systemctl start httpd

centos 1 

[[email protected]: /root]# echo centos7.3 httpd test page1 > /var/www/html/login/index.html

因为需要测试，所以不能使用有缓存的文件，特地创建一个login目录，（之前有设置过权限）内容不统一，方便查看测试效果。

轮询效果实现；

 loading.....

时间： 2024-12-05 06:04:41

varnish基础的相关文章

varnish基础概念详解

varnish基础概念详解 比起squid更加轻量级,大致有以下几个特点: ·可以基于内存缓存,也可以在磁盘上缓存,但是就算存放在磁盘上,也不能实现持久缓存 只要进程崩溃,此前缓存统统失效,无论是在内存还是在磁盘,但是现在已经具备持久缓存功能,但是仍然在实验阶段,经常容易崩溃,而且最大大小不能超过1G 如果期望内存大小超过几十个G,比如图片服务器,纯粹使用内存,性能未必好,这时候可以使用磁盘进行缓存,或SSD X 2 做RAID 避免磁盘损坏,在实现随机访问上 ssd硬盘要比机械硬盘要好的多,如

Varnish基础进阶

Varnish基础进阶 前言 互联网早已惠及全人类, 我们可以通过网络与家人.朋友进行实时通信, 也能通过网络随时随地在各大电商站点上购物, 我们访问web站点的速度也越来越快, 这背后都是有很多精巧的架构以及各种先进的技术来支撑的, 我们就今天主要聊聊Web的缓存技术, 对于当今的互联网来说, Cahe Is King, 缓存真的有那么神奇么? 就由我来带领朋友们先领略一番当今最流行的开源缓存解决方案Varnish的风采 为什么需要缓存? 当今的Web站点, 特别是电商站点; 时常承受着高并发

Varnish基础配置实现动静分离web站点

由于一个web站点的程序的访问具有局部性特征:时间上的局部性:一个数据被访问过之后,可能很快会被再次访问到:空间局部性:一个数据被访问时,其周边的数据也有可能被访问到;varnish可将这部分数据缓存下来.缓存的数据存在被访问较频繁的数据可以称其为热区:缓存同样存在局部性:时效性:如果缓存空间耗尽:则采用LRU,最近最少使用算法:将过期的缓存清理掉 varnish的基本工作原理: Varnish通过类似于HTPP反向代理的方式将可以用来缓存的数据缓存下来直接响应给客户端的缓存数据,如果缓存中没有

varnish基础应用

varnish主要用于缓存服务器,还有一些其他软件也能实现缓存功能,例如memcached但是它主要缓存的是数值数据,适用于缓存mysql的数据:而nginx也有缓存功能,也可在反代时为后端主机提供缓存,但是nginx常用于反代服务器使用,也不建议一个主机承载多任务工作,这样会代理性能降低:而varnish正是常作为http协议的反代工作的. 现代互联网服务,为了提供用户良好的体验,访问网站打开页面的速度要求非常快,所以各网站基本都把资源尽量放在客户端最近的访问节点上,即常说的把资源推送到用户的

Varnish 基础

Varnish 简介 Varnish 是一款高性能且开源的反向代理服务器和 HTTP 加速器,其采用全新的软件体系机构,和现在的硬件体系紧密配合,与传统的 squid 相比,varnish 具有性能更高.速度更快.管理更加方便等诸多优点,很多大型的网站都开始尝试使用 varnish 来替换 squid,这些都促进 varnish 迅速发展起来. 挪威的最大的在线报纸 Verdens Gang(vg.no) 使用 3 台 Varnish 代替了原来的 12 台 Squid,性能比以前更好,这是 V

Linux中Varnish基础应用

http  cache的实现方式有两种: Squid.Varnish:一般被称为缓存服务器 Squid:支持正向和反向代理.是一款重量级的缓存服务器,在高负载的情况下,性能非常的稳定 Varnish:支持反向代理:相比于Squid是非常轻量级的缓存服务器,在高负载情况下,性能较差,没有Squid稳定:一般被称为http加速器: Varnish的特点: 一.组成部分 Management:作为主控进程:提供命令行接口.管理各种子进程.初始化,加载文件等等 Child/Cache:缓存管理.日志数据

varnish基础入门使用

varnish:缓存.加速器,反向HTTP代理 varnish通过可以基于文件系统接口进行访问的共享内在区域来记录日志(shared memory log),共享内存日志大小默认一般为90MB, 分为两部分:前一部分为计数器,后一部分请求相关的数据 管理进程:编译VCL并应用新配置:监控vanish:初始化varnish:CLI接口: Child/cache: Acceptor:接收新的连接请求: worker threads:处理用户请求: Expiry:清理缓存中的过期对象: vcl: Va

WEB缓存系统之varnish基础入门（一）

前文我们聊了下http协议里的缓存控制机制以及varnish架构组件介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/12620538.html:今天我们来聊一下怎样配置使用varnish: 前边我们说到过varnish有两个配置文件,一个是/etc/varnish/varnish.params,这个配置文件主要是定义varnishd主控进程的一些运行时参数以及定义varnishd监听在那个套接字上,以及连接varnish使用的密钥文件:另外一个配置文件

使用Varnish为web网站加速

使用Varnish为网站加速 varnish概述     Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid,性能居然比以前更好.Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多.在1975年时,储存媒介只有两种:内存与硬盘.但现在计算机系统的内存除了主存外,还包括了cpu内的L1.