Varnish 生产环境下配置优化

后端服务器健康检查

# vim /etc/varnish/health_check.vcl
probe backend_healthcheck {
    .interval = 5s;
    .timeout = 3s;
    .window = 10;
    .threshold = 8;
 
    .request = 
    "GET /favicon.ico HTTP/1.1" 
    "Host: v5.ele.me"
    "Connection: close"
    "Accept-Encoding: foo/bar";
}

#后端服务器地址池配置
vim /etc/varnish/backends.vcl
import directors;
include "health_check.vcl";
 
## 实体机（restapi、v5、r、m）
backend 102_app_07 {
    .host = "10.11.11.145";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##102_app_07
 
backend 102_app_08 {
    .host = "10.10.11.146";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##102_app_08
 
backend 102_app_09 {
    .host = "10.10.11.147";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##102_app_09
 
backend 102_app_10 {
    .host = "10.10.11.148";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##102_app_10
 
backend 110_app_01 {
    .host = "10.10.11.41";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
   
    .probe = backend_healthcheck;
} ##110_app_01
 
backend 110_app_02 {
    .host = "10.10.11.42";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##110_app_02
 
backend 110_app_03 {
    .host = "10.10.11.43";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##110_app_03
  
backend 110_app_04 {
    .host = "10.10.11.44";
    .port = "80";
 
    .first_byte_timeout = 9s;
    .connect_timeout = 3s;
    .between_bytes_timeout = 1s;
 
    .probe = backend_healthcheck;
} ##110_app_04
 
## 负载均衡池
sub vcl_init {
    new web = directors.random();
 
    ## 实体机
    web.add_backend(102_app_07, 4);
    web.add_backend(102_app_08, 4);
    web.add_backend(102_app_09, 4);
    web.add_backend(102_app_10, 4);
    web.add_backend(110_app_01, 4);
    web.add_backend(110_app_02, 4);
    web.add_backend(110_app_03, 4);
    web.add_backend(110_app_04, 4);
}

缓存规则主配置
# vim /etc/varnish/default.vcl
vcl 4.0;
 
import std;
include "backends.vcl";
 
acl allow_purge_cache {
    "127.0.0.1";
    "10.0.0.0"/8;
    "172.0.0.0"/8;
}
 
sub vcl_recv {
    if (req.method == "PURGE") {
        if (!client.ip ~ allow_purge_cache) {
           return (synth(405, "Not Allowed."));
        }
        
        return (purge);
    }
 
    set req.backend_hint = web.backend();
 
    if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass);
    }
 
    if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie;
        return (hash);
    }
 
    if (req.restarts == 0) {
        if (req.http.x-forwarded-for) {
            set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
            set req.http.X-Forwarded-For = client.ip;
        }
    }
 
    if (req.http.Cache-Control ~ "(?i)no-cache") {
       if (!(req.http.Via || req.http.User-Agent ~ "(?i)bot" || req.http.X-Purge)) {
           return (purge);
       }
    }
 
    if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {
        return (pipe);
    }
 
    if (req.method != "GET" && req.method != "HEAD") {
        return (pass);
    }
 
    if (req.http.Authorization) {
        return (pass);
    }
 
    if (req.http.Accept-Encoding) {
        if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
            unset req.http.Accept-Encoding;
        } elseif (req.http.Accept-Encoding ~ "gzip") {
            set req.http.Accept-Encoding = "gzip";
        } elseif (req.http.Accept-Encoding ~ "deflate") {
            set req.http.Accept-Encoding = "deflate";
        } else {
            unset req.http.Accept-Encoding;
        }
    }
 
    if (req.http.Upgrade ~ "(?i)websocket") {
        return (pipe);
    }
 
    if (!std.healthy(req.backend_hint)) {
        unset req.http.Cookie;
    }
 
    if (req.http.x-pipe && req.restarts > 0) {
        unset req.http.x-pipe;
        return (pipe);
    }
 
    return (hash);
}
 
sub vcl_pipe {
    if (req.http.upgrade) {
        set bereq.http.upgrade = req.http.upgrade;
    }
 
    return (pipe);
}
 
sub vcl_pass {
    if (req.method == "PURGE") {
        return (synth(502, "PURGE on a passed object."));
    }
}
 
sub vcl_hash {
    hash_data(req.url);
 
    if (req.http.host) {
        hash_data(req.http.host);
    } else {
        hash_data(server.ip);
    }
    
    if (req.http.Cookie) {
        hash_data(req.http.Cookie);
    }
    
    if (req.http.Accept-Encoding ~ "gzip") {
        hash_data("gzip");
    } elseif (req.http.Accept-Encoding ~ "deflate") {
        hash_data("deflate");
    }
}
 
sub vcl_hit {
    if (req.method == "PURGE") {
        return (synth(200, "Purged."));
    }
    
    if (obj.ttl >= 0s) {
        return (deliver);
    }
 
    if (std.healthy(req.backend_hint)) {
        if (obj.ttl + 10s > 0s) {
            return (deliver);
        } else {
            return(fetch);
        }
    } else {
        if (obj.ttl + obj.grace > 0s) {
            return (deliver);
        } else {
            return (fetch);
        }
    }
 
    return (deliver);
}
 
sub vcl_miss {
    if (req.method == "PURGE") {
        return (synth(404, "Purged."));
    }
    
    return (fetch);
}
 
sub vcl_backend_response {
    set beresp.grace = 5m;
 
    set beresp.ttl = std.duration(regsub(beresp.http.Cache-Control, ".*s-maxage=([0-9]+).*", "\1") + "s", 0s);
    if (beresp.ttl > 0s) {
        unset beresp.http.Set-Cookie;
    }
 
    if (beresp.http.Set-Cookie) {
        set beresp.uncacheable = true;
        return (deliver);
    }
 
    if (beresp.http.Cache-Control && beresp.ttl > 0s) {
        set beresp.grace = 1m;
        unset beresp.http.Set-Cookie;
    }
    
    if (beresp.http.Content-Length ~ "[0-9]{8,}") {
        set bereq.http.x-pipe = "1";
        return (retry);
    }
    
    if (bereq.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        set beresp.uncacheable = true;
        return (deliver);
    }
 
    if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset beresp.http.set-cookie;
    }
    
    if (bereq.url ~ "^[^?]*\.(mp[34]|rar|tar|tgz|gz|wav|zip|bz2|xz|7z|avi|mov|ogm|mpe?g|mk[av])(\?.*)?$") {
        unset beresp.http.set-cookie;
        set beresp.do_stream = true;
        set beresp.do_gzip = false;
    }
 
    if ((!beresp.http.Cache-Control && !beresp.http.Expires) || 
        beresp.http.Pragma ~ "no-cache" || 
        beresp.http.Cache-Control ~ "(no-cache|no-store|private)") {
        set beresp.ttl = 120s;
        set beresp.uncacheable = true;
        return (deliver);
    }
 
    if (beresp.ttl <= 0s || beresp.http.Set-Cookie || beresp.http.Vary == "*") {
        set beresp.ttl = 120s;
        set beresp.uncacheable = true;
        return (deliver);
    }
 
    if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
        set beresp.ttl = 15m;
    } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        set beresp.ttl = 30m;
    } else {
        set beresp.ttl = 10m;
    }
 
    return (deliver);
}
 
sub vcl_purge {
    if (req.method != "PURGE") {
        set req.http.X-Purge = "Yes";
        return (restart);
    }
}
 
sub vcl_deliver {
    if (obj.hits > 0) {
        set resp.http.X-Cache = "HIT from " + req.http.host;
        set resp.http.X-Cache-Hits = obj.hits;
    } else {
        set resp.http.X-Cache = "MISS from " + req.http.host;
    }
 
    unset resp.http.X-Powered-By;
    unset resp.http.Server;
 
    unset resp.http.Via;
    unset resp.http.X-Varnish;
 
    unset resp.http.Age;
}
 
sub vcl_backend_error {
    if (beresp.status == 500 || 
        beresp.status == 501 || 
        beresp.status == 502 || 
        beresp.status == 503 || 
        beresp.status == 504) {
        return (retry);
    }
}
 
sub vcl_fini {
    return (ok);
}

启动参数配置
# vim /etc/sysconfig/varnish
NFILES=131072
MEMLOCK=25165824
NPROCS="unlimited"
 
RELOAD_VCL=1
VARNISH_VCL_CONF=/etc/varnish/default.vcl
 
VARNISH_LISTEN_ADDRESS=0.0.0.0
VARNISH_LISTEN_PORT=6081
 
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1
VARNISH_ADMIN_LISTEN_PORT=6082
 
VARNISH_SECRET_FILE=/etc/varnish/secret
 
VARNISH_MIN_THREADS=240
VARNISH_MAX_THREADS=4800
VARNISH_THREAD_TIMEOUT=120
 
VARNISH_STORAGE_SIZE=24G
VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"
 
VARNISH_TTL=120
 
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT}         -f ${VARNISH_VCL_CONF}         -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT}         -t ${VARNISH_TTL}         -p thread_pools=24         -p thread_pool_min=${VARNISH_MIN_THREADS}         -p thread_pool_max=${VARNISH_MAX_THREADS}         -p thread_pool_timeout=${VARNISH_THREAD_TIMEOUT}         -u varnish -g varnish         -S ${VARNISH_SECRET_FILE}         -s ${VARNISH_STORAGE}         -p timeout_idle=60         -p timeout_linger=1         -p http_resp_hdr_len=16k         -p http_max_hdr=256         -p http_req_hdr_len=16k         -p lru_interval=120         -p listen_depth=8192
        
        
        
启动脚本调整
# vim /etc/init.d/varnish
由
exec="/usr/sbin/varnishd"
修改为
exec="/usr/bin/numactl --interleave all /usr/sbin/varnishd"

时间： 2025-01-06 10:09:31

Varnish 生产环境下配置优化的相关文章

linux iptables常用命令之配置生产环境iptables及优化

在了解iptables的详细原理之前,我们先来看下如何使用iptables,以终为始,有可能会让你对iptables了解更深所以接下来我们以配置一个生产环境下的iptables为例来讲讲它的常用命令第一步:清空当前的所有规则和计数 iptables -F #清空所有的防火墙规则 iptables -X #删除用户自定义的空链 iptables -Z #清空计数第二步:配置允许ssh端口连接 iptables -A INPUT -s 192.168.1.0/24 -p tcp --dport

生产环境下GeoServer如何优化--发布大数据量的影像（大于2g的tiff格式影像）

生产环境下GeoServer如何优化--发布大数据量的影像(大于2g的TIFF格式影像) 前言 Geoserver可以高效的处理数据量小于2GB的TIFF影像,一旦影像的大小超过了2GB,就需要考虑用影像金字塔来替代. 影像金字塔创建多重镶嵌的影像,每个都在不同层级,使得每个切片都存储为一个分离的文件.虽然看起来会增加切片合成的成本,但是却可以加快图像处理速度, 每个预览都是平铺的,因此可以高效的访问子集. 创建金字塔过程 1.准备geotiff格式的影像,下载开源应用程序FWTools 2.打

生产环境下ftp的迁移并构建高可用

说明:这是1个小项目就两台DELL的服务器,和一台IP SAN存储(DELL MD3200i).原来是4台小服务器,而且服务器太老了,经常有问题,这回相当于一次ftp的迁移,以前用的是proftp,这次换成了vsftp.数据量有2.5T. 拓扑很简单: 系统:CENTOS 6.4(64bit) 高可用软件:corosync+pacemaker host:ftp1 192.168.1.190 ftp2 192.168.1.191 stonith(ipmi):ftp1 192.168.1.180

生产环境下的iptables

生产环境下的iptables设置,这是我自己的一点总结,浅显之处望大家指出批评,共同学习. 我的局域网为192.168.1.0/24. 1.先清空所有规则 iptables -F iptables -X iptables -Z iptables -t nat -F iptables -t nat -X iptables -t nat -Z 设置默认规则前开发ssh(6123)端口 iptables -A INPUT -i eth0 -s 192.168.1.0/24 -p tcp --dport

读生产环境下go语言最佳实践有感

最近看了一篇关于go产品开发最佳实践的文章,go-in-procution.作者总结了他们在用go开发过程中的很多实际经验,我们很多其实也用到了,鉴于此,这里就简单的写写读后感,后续我也争取能将这篇文章翻译出来.后面我用soundcloud来指代原作者. 开发环境在soundcloud,每个人使用一个独立的GOPATH,并且在GOPATH直接按照go规定的代码路径方式clone代码. $ mkdir -p $GOPATH/src/github.com/soundcloud $ cd $GOPA

测试及生产环境tomcat配置

环境: 系统为suse11 sp1 软件版本: jdk1.7.0_80.zip apr.tar.gz apache-tomcat.tar.gz tomcat部署目录为/apps,应用以ebay为例注意: 实际配置要根据实际环境做改变,仅供参考 1.jdk环境配置 root用户 unzip jdk1.7.0_80.zip -d /usr/local ln -s /usr/local/jdk1.7.0_80 /usr/local/jdk vi /etc/profile 添加 export JAVA

Java生产环境下性能监控与调优详解

第1章课程介绍(Java秒杀课程老师倾力打造)本章为大家介绍生产环境可能存在的问题和常用的性能监控工具,以及课程能学到什么,课程内容如何安排等,让大家对课程有个全貌的认识,从而更好的学习这门课程.1-1 为什么学习这门课程? 第2章基于JDK命令行工具的监控本章带大家学习JDK的命令行监控工具的使用,包括jps.jinfo.jstat.jmap.jstack, 并结合MAT实战如何定位内存溢出,实战如何定位死循环和死锁.2-1 JVM的参数类型2-2 查看JVM运行时参数2-3 jstat查

SpringCloud从入门到进阶（四）——生产环境下Eureka的完全分布式部署

内容由于前两节的内容我们知道,开启了preferIpAddress后,Eureka的伪分布式部署会提示replica不可用.这一节我们讲解如何在生产环境下部署完全分布式的Eureka集群,确保开启了preferIpAddress后replica的可用性. 版本 IDE:IDEA 2017.2.2 x64 JDK:1.8.0_171 manve:3.3.3 SpringBoot:1.5.9.RELEASE SpringCloud:Dalston.SR1 适合人群 Java开发人员节点信息: 节

Nginx环境下配置PHP使用的SSL认证(https)

最近一段时间发现好多网站都从http协议变成了加密的https协议,比如说百度.吾志等等.https看起来比http高端了好多,而且在不同的浏览器向上还会显示出不同于http的URL展示效果(比如说chrome 和QQ浏览器使用https协议的网址就会变色). 于是自己就想着把自己的网站加一个ssl证书,使之变成https://iwenku.net 最开始我使用的是腾讯云的服务器,服务器系统是Windows,使用Windows虽然坏处挺多,但是也有好处,那就是Windows是图形化界面的,这样