Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布

一、Nginx安装（基于CentOS 6.5）

1.yum命令安装

yum install nginx –y
(若不能安装，执行命令yum install epel-release)

2. 启动、停止和重启

service nginx start
service nginx stop
service nginx restart
浏览器中 输入服务器的 ip 地址，即可看到相应信息

3. 其他信息

rpm -ql nginx 来查看安装路径
yum remove nginx 来卸载 
nginx -s reload 配置热更新

二、Nginx负载均衡配置（/etc/nginx/nginx.conf）

  1. 负载均衡配置

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

http {

       ……

    upstream real_server {

       server 192.168.103.100:2001 weight=1;  #轮询服务器和访问权重

       server 192.168.103.100:2002 weight=2;

    }

    server {

        listen  80;

        location / {

            proxy_pass http://real_server;

        }

    }

}

 
    2.失败重试配置

1

2

3

4

upstream real_server {

   server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;

   server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;

}

意思是在fail_timeout时间内失败了max_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表，进行重试。

三、Nginx限流配置

  1. 配置参数

limit_req_zone指令设置参数


1

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;

1）limit_req_zone定义在http块中，$binary_remote_addr表示保存客户端IP地址的二进制形式。
2）Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB，所以示例中区域可以存储160000个IP地址。
3）Rate定义最大请求速率。示例中速率不能超过每秒10个请求。

2.设置限流


1

2

3

4

location / {

        limit_req zone=mylimit burst=20 nodelay;

        proxy_pass http://real_server;

}

burst排队大小，nodelay不限制单个请求间的时间

3.不限流白名单


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

geo $limit {

default              1;

192.168.2.0/24  0;

}

map $limit $limit_key {

1 $binary_remote_addr;

0 "";

}

limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;

location / {

        limit_req zone=mylimit burst=1 nodelay;

        proxy_pass http://real_server;

}

上述配置中，192.168.2.0/24网段的IP访问是不限流的，其他限流。

IP后面的数字含义：

24表示子网掩码:255.255.255.0

16表示子网掩码:255.255.0.0

8表示子网掩码:255.0.0.0

四、Nginx缓存配置

  1. 浏览器缓存

静态资源缓存用expire


1

2

3

location ~*  .(jpg|jpeg|png|gif|ico|css|js)$ {

   expires 2d;

}

Response Header中添加了Expires和Cache-Control

静态资源包括（一般缓存）

1）普通不变的图像，如logo，图标等
2）js、css静态文件
3）可下载的内容，媒体文件

协商缓存（add_header ETag/Last-Modified value）

1）HTML文件
2）经常替换的图片
3）经常修改的js、css文件
4）基本不变的API接口

不需要缓存

1）用户隐私等敏感数据

2）经常改变的api数据接口

2.代理层缓存


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

//缓存路径，inactive表示缓存的时间，到期之后将会把缓存清理

proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;

location / {

    location ~ \.(htm|html)?$ {

        proxy_cache cache;

        proxy_cache_key    $uri$is_args$args;     //以此变量值做HASH，作为KEY

        //HTTP响应首部可以看到X-Cache字段，内容可以有HIT,MISS,EXPIRES等等

        add_header X-Cache $upstream_cache_status;

        proxy_cache_valid 200 10m;

        proxy_cache_valid any 1m;

        proxy_pass  http://real_server;

        proxy_redirect     off;

    }

    location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {

        root /data/webapps/edc;

        expires      3d;

        add_header Static Nginx-Proxy;

    }

}

在本地磁盘创建一个文件目录，根据设置，将请求的资源以K-V形式缓存在此目录当中，KEY需要自己定义（这里用的是url的hash值），同时可以根据需要指定某内容的缓存时长，比如状态码为200缓存10分钟，状态码为301，302的缓存5分钟，其他所有内容缓存1分钟等等。
        可以通过purger的功能清理缓存。
        AB测试/个性化需求时应禁用掉浏览器缓存。

五、Nginx黑名单

1.一般配置


1

2

3

4

5

6

7

location / {

    deny  192.168.1.1;

    deny 192.168.1.0/24;

    allow 10.1.1.0/16;

    allow 2001:0db8::/32;

    deny  all;

}

2. Lua+Redis动态黑名单(OpenResty)

1）安装运行


1

2

3

4

5

6

7

8

yum install yum-utils

yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo

yum install openresty

yum install openresty-resty

查看

yum --disablerepo="*" --enablerepo="openresty" list available

运行

service openresty start

2) 配置(/usr/local/openresty/nginx/conf/nginx.conf)


1

2

3

4

5

6

7

8

9

10

lua_shared_dict ip_blacklist 1m;

server {

    listen  80;

    location / {

        access_by_lua_file lua/ip_blacklist.lua;

        proxy_pass http://real_server;

    }

}

lua脚本（ip_blacklist.lua）


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

local redis_host    = "192.168.1.132"

local redis_port    = 6379

local redis_pwd     = 123456

local redis_db = 2

-- connection timeout for redis in ms.

local redis_connection_timeout = 100

-- a set key for blacklist entries

local redis_key     = "ip_blacklist"

-- cache lookups for this many seconds

local cache_ttl     = 60

-- end configuration

local ip                = ngx.var.remote_addr

local ip_blacklist      = ngx.shared.ip_blacklist

local last_update_time  = ip_blacklist:get("last_update_time");

-- update ip_blacklist from Redis every cache_ttl seconds:

if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then

  local redis = require "resty.redis";

  local red = redis:new();

  red:set_timeout(redis_connect_timeout);

  local ok, err = red:connect(redis_host, redis_port);

  if not ok then

    ngx.log(ngx.ERR, "Redis connection error while connect: " .. err);

  else

    local ok, err = red:auth(redis_pwd)

    if not ok then

      ngx.log(ngx.ERR, "Redis password error while auth: " .. err);

    else

        local new_ip_blacklist, err = red:smembers(redis_key);

        if err then

            ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err);

        else

        ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)

          -- replace the locally stored ip_blacklist with the updated values:

            ip_blacklist:flush_all();

          for index, banned_ip in ipairs(new_ip_blacklist) do

            ip_blacklist:set(banned_ip, true);

          end

          -- update time

          ip_blacklist:set("last_update_time", ngx.now());

      end

    end

  end

end

if ip_blacklist:get(ip) then

  ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);

  return ngx.exit(ngx.HTTP_FORBIDDEN);

end

六、Nginx灰度发布

  1. 根据Cookie实现灰度发布

根据Cookie查询version值，如果该version值为v1转发到host1，为v2转发到host2，都不匹配的情况下转发默认。


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

upstream host1 {

   server 192.168.2.46:2001 weight=1;  #轮询服务器和访问权重

   server 192.168.2.46:2002 weight=2;

}

upstream host2 {

   server 192.168.1.155:1111  max_fails=1 fail_timeout=60;

}

upstream default {

   server 192.168.1.153:1111  max_fails=1 fail_timeout=60;

}

map $COOKIE_version $group {

   ~*v1$ host1;

   ~*v2$ host2;

   default default;

}

lua_shared_dict ip_blacklist 1m;

server {

    listen  80;

    #set $group "default";

    #if ($http_cookie ~* "version=v1"){

    #    set $group host1;

    #}

    #if ($http_cookie ~* "version=v2"){

    #    set $group host2;

    #}

    location / {

        access_by_lua_file lua/ip_blacklist.lua;

        proxy_pass http://$group;

    }

}

2. 根据来路IP实现灰度发布


1

2

3

4

5

6

7

8

9

server {

  ……………

  set $group default;

  if ($remote_addr ~ "192.168.119.1") {

      set $group host1;

  }

  if ($remote_addr ~ "192.168.119.2") {

      set $group host2;

  }

3. 更细粒度灰度发布

可用lua脚本实现，参考开源项目：https://github.com/CNSRE/ABTestingGateway

原文地址：https://www.cnblogs.com/zhoading/p/10317991.html

时间： 2024-10-25 21:11:43

Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布的相关文章

nginx配置优化+负载均衡+动静分离详解

nginx配置如下: #指定nginx进程运行用户以及用户组user www www;#nginx要开启的进程数为8worker_processes 8;#全局错误日志文件#debug输出日志最为详细,而crit输出日志最少/var/log目录是linux下的日志存放目录error_log /var/log/nginx/nginx_error.log crit;#指定进程id的存储位置pid /var/run/nginx.pid;#绑定worker进程和CPU,linux内核2.4以上可用wor

[转] nginx配置优化+负载均衡+动静分离(附带参数解析)

#指定nginx进程运行用户以及用户组user www www;#nginx要开启的进程数为8worker_processes  8;#全局错误日志文件#debug输出日志最为详细,而crit输出日志最少/var/log目录是linux下的日志存放目录error_log /var/log/nginx/nginx_error.log crit;#指定进程id的存储位置pid   /var/run/nginx.pid;#绑定worker进程和CPU,linux内核2.4以上可用worker_rlim

Nginx配置：负载均衡和SSL配置

一.负载均衡 负载均衡在服务端开发中算是一个比较重要的特性.因为Nginx除了作为常规的Web服务器外,还会被大规模的用于反向代理前端,因为Nginx的异步框架可以处理很大的并发请求,把这些并发请求hold住之后就可以分发给后台服务端(backend servers,也叫做服务池, 后面简称backend)来做复杂的计算.处理和响应,这种模式的好处是相当多的:隐藏业务主机更安全,节约了公网IP地址,并且在业务量增加的时候可以方便地扩容后台服务器.负载均衡可以分为硬件负载均衡和软件负载均衡,前者一

93.Nginx配置：负载均衡和SSL配置

一.负载均衡 负载均衡在服务端开发中算是一个比较重要的特性.因为Nginx除了作为常规的Web服务器外,还会被大规模的用于反向代理前端,因为Nginx的异步框架可以处理很大的并发请求,把这些并发请求hold住之后就可以分发给后台服务端(backend servers,也叫做服务池, 后面简称backend)来做复杂的计算.处理和响应,这种模式的好处是相当多的:隐藏业务主机更安全,节约了公网IP地址,并且在业务量增加的时候可以方便地扩容后台服务器. 负载均衡可以分为硬件负载均衡和软件负载均衡,前者

nginx配置-之负载均衡

round-robin           轮询方式,即轮流调度,默认方式least-connected       最小连接ip-hash                  IP hash,基于客户端的IP来选择服务器,一般用在保持会话的场景 例1:基本配置 http { upstream myapp1 { server srv1.example.com; server srv2.example.com; server srv3.example.com; } server { listen 8

nginx配置实现负载均衡

一.负载均衡的作用 1.转发功能 按照一定的算法[权重.轮询],将客户端请求转发到不同应用服务器上,减轻单个服务器压力,提高系统并发量. 2.故障移除 通过心跳检测的方式,判断应用服务器当前是否可以正常工作,如果服务器期宕掉,自动将请求发送到其他应用服务器. 3.恢复添加 如检测到发生故障的应用服务器恢复工作,自动将其添加到处理用户请求队伍中. 二.Nginx实现负载均衡同样使用两个tomcat模拟两台应用服务器,端口号分别为8080 和8081 1.Nginx的负载分发策略 Nginx 的 u

Linux配置Nginx＋Tomcat负载均衡

tar -zxvf nginx-1.14.2.tar.gz -C /usr/local 一.Linux配置Nginx 一.下载Nginx 方式1:从http://nginx.org/en/download.html上下载稳定版,解压安装 方式2:直接在Linux上用命令下载: wget http://nginx.org/download/nginx-1.10.2.tar.gz -bash: wget: command not found 安装wget: yum -y install wget 再

如何使用Weave以及Docker搭建Nginx反向代理/负载均衡服务器

Hi, 今天我们将会学习如何使用 Weave 和 Docker 搭建 Nginx 的反向代理/负载均衡服务器.Weave 可以创建一个虚拟网络将 Docker 容器彼此连接在一起,支持跨主机部署及自动发现.它可以让我们更加专注于应用的开发,而不是基础架构.Weave 提供了一个如此棒的环境,仿佛它的所有容器都属于同个网络,不需要端口/映射/连接等的配置.容器中的应用提供的服务在 weave 网络中可以轻易地被外部世界访问,不论你的容器运行在哪里.在这个教程里我们将会使用 weave 快速并且简单

Nginx反向代理、负载均衡、页面缓存、URL重写及读写分离详解

大纲 一.前言 二.环境准备 三.安装与配置Nginx 四.Nginx之反向代理 五.Nginx之负载均衡 六.Nginx之页面缓存 七.Nginx之URL重写 八.Nginx之读写分离 注,操作系统为 CentOS 6.4 x86_64 , Nginx 是版本是最新版的1.4.2,所以实验用到的软件请点击这里下载:http://yunpan.cn/QXIgqMmVmuZrm 一.前言 在前面的几篇博文中我们主要讲解了Nginx作为Web服务器知识点,主要的知识点有nginx的理论详解.ngin