实战经验：25种Nginx优化手段

系统环境：Centos6

理论：
1.关于NGINX
Nginx是一个高性能且轻量级的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用NGINX作为门户的有百度、京东、新浪等等。

2.关于优化
Nginx可以作为正反向代理服务器，也可以作为负载均衡使用，而且是一个轻量级且高性能的服务器，所以肯定会出现高并发高流量的场景，而且安全问题一直处于被动状态，各种安全漏洞依然存在，为了减少被×××者影响服务器的正常运行，所以做了以下的优化。

实战：

1.隐藏版本信息

修改nginx配置文件
在nginx.conf 在http模块下加入：
server_tokens off;

2.防数据库被盗取实战

server下配置

    location ~* "\.(sql|bak|zip|tgz|tar.gz)$"{
               return  404;
     }

测试：

3.更改nginx服务的默认用户

第一种方法：

　直接更改配置文件nginx.conf.default参数，将默认的#user nobody;改为user www.www;

第二种方法：

　　直接在编译nginx的时候指定用户和用户组命令如下：
　　./configure --prefix=/application/nginx-1.6.3 --user=nginx --group=nginx --with-http_ssl_module --with-http_stub_status_module

4.优化nginx进程个数的策略

在高并发、高访问量的web服务场景，需要事先启动好更多的nginx进程，以保证快速响应并处理大量并发用户的请求。
　　worker_processes 1;一般调整到与CPU的颗数相同

　　(1)查看LInux可查看CPU个数及总核数

grep processor /proc/cpuinfo|wc -l

　　(2)查看CPU总颗数

grep ‘physical id‘ /proc/cpuinfo |wc -l

　　(3)通过执行top命令，然后按数字1，即可显示所有的CPU核数 top命令按1键就会显示第一个的信息

5.优化绑定不同的nginx进程在不同的CPU上

默认情况下，nginx的进程跑在某一个CPU或CPU的某一个核上，导致nginx进程使用硬件的资源不均，本节的优化是不同的nginx进程给不同的CPU处理，充分有效的利用有效的硬件资源

　　四核cpu配置

worker_processes 4; worker_cpu_affinity 1000 0100 0010 0001;

　　双核配置

worker_processes 2; worker_cpu_affinity 0101 1010;

　　还有一个命令taskset 用来分配服务给CPU

6.nginx事件处理模型优化

nginx的连接处理机制在于不同的操作系统会采用不同的I/O模型，Linux下，nginx使用epoll的I/O多路复用模型，在freebsd使用kqueue的IO多路复用模型，在solaris使用/dev/pool方式的IO多路复用模型，在windows使用的icop等等。
　　要根据系统类型不同选择不同的事务处理模型，选择有“use [ kqueue | rtsig |epool |dev/pool |select |pllo ];”我们使用的是Centos6.5的linux，因此将nginx的事件处理模型调整为epool模型。
设置nginx的配置文件
events { worker_connections 51200; use epoll; }

官方说明：在不指定事件处理模型时，nginx默认会自动的选择最佳的事件处理模型服务

7.调整nginx单个进程允许的客户端最大连接数

参数语法：worker_connections number
默认配置：worker_connections 51200
放置位置：events 标签　　
events { worker_connections 1024; #一个worker进程的并发 }
总并发= worker_processes* worker_connections
如下：

8.配置nginx worker进程最大打开文件数

参数语法：worker_rlimit_nofile number
放置位置：主标签段
说明：作用是改变worker processes能打开的最大文件数
worker_rlimit_nofile 65535;

这各参数受系统文件的最大打开数限制，解决方法：
[[email protected] conf]# cat /proc/sys/fs/file-max

文件系统最大可打开文件数
ulimit参数

-n指定最大打开文件数量
查看当前最大打开文件数量：
[[email protected] conf]# ulimit -l

程序限制只能打开1024个文件
使用# ulimit -n 8192调整一下

9开启高效文件传输模式

设置参数 sendfile on;
sendfile参数用于开启文件的高效传输模式。同时将tcp_nopush和tcp_nodelay两个指令设置为on，可防止网络及磁盘i/o阻塞，提升nginx工作效率。
http { 　　sendfile on; #放在http，server，location都可以 }
设置参数tcp_nopush；
激活tcp_nopush参数可以允许把httpresponse header和文件的开始放在一个文件里发布，积极的作用是减少网络报文段的数量（只有sendfile on开启才生效）
例：
也可以设置以下参数

sendfile on;
tcp_nopush on;
tcp_nodelay on;
server_tokens off;
server_names_hash_bucket_size 128;
server_names_hash_max_size 512;
keepalive_timeout 65;
client_header_timeout 15s;
client_body_timeout 15s;
send_timeout 60s;

10.fastcgi相关参数调优

fastcgi参数是配合nginx向后请求PHP动态引擎服务的相关参数。

fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 256k;

11.配置nginx gzip压缩实现性能优化

提升网站用户体验：由于发给用户的内容小了，所以用户访问单位大小的页面就快了，用户体验就提升了
　　节约网站带宽成本：由于数据时压缩传输的，因此，会消耗一些cpu资源
压缩的对象：
　　纯文本内容压缩比很高，因此，纯文本的内容最好要压缩
　　被压缩的纯文本文件必须要大于1KB，由于压缩算法的特殊原因，极小的文件压缩反而变大
　　图片、视频（流媒体）等文件尽量不要压缩，因为这些文件大多都是经过压缩的，如果再压缩很可能不会减小或减小很少，或者有可能增大，而在压缩时还会消耗大量的CPU、内存资源

参数介绍及配置说明：
gzip on; 　　　　　　　　　　　　　　　　　　 #表示开启压缩功能
gzip_min_length 1k; 　　　　　　　　　　　　　　 #表示允许压缩的页面最小字节数，页面字节数从header头的Content-Length中获取。默认值是0，表示不管页面多大都进行压缩，建议设置成大于1K。如果小于1K可能会越压越大
gzip_buffers 4 16k;　　 　　　　　　　　　　　　 #压缩缓存区大小
gzip_http_version 1.1; 　　　　　　　　　　　　　　 #压缩版本
gzip_comp_level 2;　　　　　　　　　　　　　　　 #压缩比率
gzip_types text/css text/xml application/javascript;　　#指定压缩的类型
gzip_vary on;　 #vary header支持
完美配置：
nginx.conf http模块

gzip on;
gzip_min_length  1k;
gzip_buffers     4 16k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types     text/plain application/javascript application/x-javascript text/javascript text/css application/xml application/xml+rss;
gzip_vary on;
gzip_proxied   expired no-cache no-store private auth;
gzip_disable   "MSIE [1-6]\.";

12.nginx expires功能

为用户访问网站的内容设定一个过期时间，当用户第一次访问到这些内容时，会把这些内容存储在用户浏览器本地，这样用户第二次及之后继续访问该网站，浏览器就会检查已经缓存在用户浏览器本地的内容，就不会去浏览器下载了，直到缓存的内容过期或者被清除为止。

expires作用和优点：

　　 expires可以降低网站的带宽，节约成本，加快用户访问网站的速度，提升了用户访问体验，将内存存储到用户浏览器本地。服务器访问量降低，服务器压力就减轻了，服务器的成本也会降低，甚至可以节约人力成本，几乎对于所有web服务来说，这是非常重要的功能之一。
nginx expires 配置详解：

location ~ ^/(images|javascript|js|css|flash|media|static)/ {
 expires 360d;
 }

expire缺点及解决办法：

　　当网站被缓存的页面或数据更新了，此时用户端看到的可能还是旧的已经缓存的内容，这样就会影响用户体验，那么如何解决这个问题呢?
　　第一：对于经常需要的变动图片等文件，可以缩短对象缓存时间，例如，百度、谷歌等网站的首页图片经常会换成一些节日的图，这里可以将缓存期修改为1天
　　第二：当网站改版或更新内容时，可以在服务器将缓存的对象改名（网站代码程序）
　　对于网站的图片、附件，一般不会被用户直接修改，用户层面上的修改图片，实际上是重新传到服务器，虽然内容一样但是一个新的图片名了
　　网站改版升级会修改JS、CSS元素，若改版的时候对这些元素改了名，会使得前端的CDN以及用户端需要重新缓存内容

13.nginx日志优化

不记录不需要的日志
　在实际工作中，对于负载均衡器健康检查节点或某些特定的文件（图片、JS、CSS）的日志，一般不需要记录下来，因为在统计PV时是按照页面计算的，而且日志写入的太频繁会消耗磁盘i/o，降低服务的性能
具体配制方法: 在server里配置

location ~ .*.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ {
access_log off;
}

访问日志的权限设置
　　假如日志目录为/app/logs，则授权方法为：
chown -R root.root /app/logs
chmod -R 600 /app/logs
　　不需要在日志目录上给nginx用户读写或者读写许可，很多人都没有注意这个问题，这就称为了安全隐患。

14.nginx站点目录及URL访问控制

根据扩展名限制程序和文件访问

　　web2.0时代，绝大多数网站都是以用户为中心的，这些产品有一些共同点，就是不允许用户发布内容到服务器，还允许用户发图片甚至附件上传到服务器上，给用户开启了上传的功能。带来了很大的安全隐患。
　　下面将利用nginx配置禁止访问上传资源目录下的PHP,SHELL,PERL,PYTHON程序文件，这样就算是用户上传了×××文件也没办法执行


            location ~ ^/manage/.*\.(php|php5|.sh|.pl|.py)$ {
                            deny all;
            }

            location ~ ^/static/.*\.(php|php5|.sh|.pl|.py)$ { 　                deny all;
            }

            location ~* ^/data/(attachment|avatar)/.*\.(php|php5)$ {                deny all;
            }

　　对于上述目录的限制必须写在nginx处理PHP服务配置的前面

禁止访问指定目录下的所有文件和目录
配置禁止访问指定的单个或多个目录
在server下进行配置：

        location ~ ^/(static)/ {
                deny all;
        }

        location ~ ^/static {
                deny all;
        }

禁止访问目录并且返回代码404
location /manage/ { return 404; }

访问网页测试

限制网站来源的IP访问（实验）

使用ngx_http_access_module限制网站来源IP访问。
范例1：禁止外界访问，但允许某个IP访问该目录
location ~ ^/oldboy/ { allow 公网IP; deny all; }
范例2：限制及指定IP或IP段访问。
location / { deny 公网IP; allow 10.0.0.0/8; deny all; }
查看自己公网IP
http://www.ip138.com

做实验配置：
范例1：

访问网页：

范例2：
配置：

访问网页：

配置nginx禁止非法域名解析访问企业网站

问题：nginx如何防止用户IP访问网站（恶意域名解析，相当于直接使用IP访问网站）
方法1：直接报错，用户体验不好
server { listen 80 default_server; server_name _; return 501; }

方法2：通过301跳转到主页
server { listen 80 default_server; server_name _; rewrite ^(.*) http://www.xxx.com/$1 permanent; }

方法一实战：
配置：这是在站点配置文件上再增加一个server

访问网页：

方法二实战：
配置：定向到站点首页

访问网页：

15.nginx图片防盗链解决方案

简单的说，没有经过你的允许在自己网站嵌入你的图片。
常见的防盗链解决方案的基本原理
根据HTTP referer实现防盗链
根据cookie防盗链
防盗链实战
被盗链的网站配置

location ~* ^.+\.(jpg|png|swf|flv|rar|zip)$ {
valid_referers none blocked *.leoops.vip ;
if ($invalid_referer) {
rewrite ^/ http://azt.leoops.vip/img/attack.png;
}
root html/www;
}

当出现被盗连的时候，会自动跳转到一下页面

16.nginx错误页面的优雅显示

范例：当出现404错误会跳转到404.html页面
error_page 404 404/404.html;

17.部署网站程序权限设置

(1)网站的站点目录权限设置
方案1：推荐方案
目录：755
文件：644
所有者：root
图片及上传目录设置所有者为www

18.nginx防爬虫优化

文件配置
set $block_user_agent 0;
if ( $http_user_agent ~ "Wget|AgentBench|BBBIKE"){
set $block_user_agent 1;
}
if ($block_user_agent = 1) {
return 404 ; rewrite ^(.*) http://azt.leoops.vip/$1 permanent;
}

检查收录和蜘蛛：
https://tools.aizhan.com/rb/

19.利用nginx限制HTTP的请求方法

配置：

if ($request_method !~ ^(GET|HEAD|POST)$ ) { return 501; }

配置上传服务器限制HTTP的GET的配置

if ($request_method ~*(GET)$ ) { return 501; }

20.使用CDN做网站内容加速

cdn特点：
　　本地Cache加速 提高了企业站点(尤其含有大量图片和静态页面站点)的访问速度，并大大提高以上性质站点的稳定性
　　镜像服务 消除了不同运营商之间互联的瓶颈造成的影响，实现了跨运营商的网络加速，保证不同网络中的用户都能得到良好的访问质量。
　　远程加速 远程访问用户根据DNS负载均衡技术智能自动选择Cache服务器，选择最快的Cache服务器，加快远程访问的速度
　　带宽优化 自动生成服务器的远程Mirror（镜像）cache服务器，远程用户访问时从cache服务器上读取数据，减少远程访问的带宽、分担网络流量、减轻原站点WEB服务器负载等功能。
　　集群抗××× 广泛分布的CDN节点加上节点之间的智能冗余机制，可以有效地预防×××***以及降低各种D.D.o.S×××对网站的影响，同时保证较好的服务质量 。

21.防止网站恶意×××

在http下配置
###用户的 IP 地址 $binary_remote_addr 作为 Key，每个 IP 地址最多有 50 个并发连接
limit_conn_zone $binary_remote_addr zone=TotalConnLimitZone:10m ;
limit_conn TotalConnLimitZone 50;
limit_conn_log_level notice;

网站性能测试：
测试地址：https://loadimpact.com

并发连接测试

[[email protected] server]# ab -c 500 -t 30 http://azt.leoops.vip/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking azt.leoops.vip (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Finished 15897 requests

Server Software:        nginx
Server Hostname:        azt.leoops.vip
Server Port:            80

Document Path:          /
Document Length:        6478 bytes

Concurrency Level:      500
Time taken for tests:   33.823 seconds
Complete requests:      15897
Failed requests:        15697
   (Connect: 0, Receive: 0, Length: 15697, Exceptions: 0)
Write errors:           0
Non-2xx responses:      15697
Total transferred:      7209787 bytes
HTML transferred:       4529182 bytes
Requests per second:    470.00 [#/sec] (mean)
Time per request:       1063.820 [ms] (mean)
Time per request:       2.128 [ms] (mean, across all concurrent requests)
Transfer rate:          208.17 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0   48  97.4     41    1055
Processing:     1   67 121.6     50    1487
Waiting:        1   59 121.2     45    1486
Total:         21  115 158.8     89    1707

Percentage of the requests served within a certain time (ms)
  50%     89
  66%     97
  75%    104
  80%    111
  90%    119
  95%    128
  98%    761
  99%   1120
100%   1707 (longest request)
[[email protected] server]#

22.控制nginx并发连接数量

ngx_http_limit_conn_module这个模块用于限制每个定义key值得连接数，特别是单个TP的连接数。
　　不是所有的连接数都会被计算。一个符合计数要求的连接是整个请求头已经被读取的连接。
　　控制Nginx并发连接数量参数的说明
　　1）limit_conn_zone参数：
　　　　语法：limit_conn_zone key zone=name:size;
　　　　上下文：http
　　　　用于设置共享内存区域，key可以是字符串、Nginx自带变量或前两个组合。name为内存区域的名称，size为内存区域的大小。
　　2）limit_conn参数
　　　　语法：limit_conn zone number;
　　　　上下文：http、server、location
　　　　用于指定key设置最大连接数。当超时最大连接数时，服务器会返回503报错。
例：

23.控制客户端请求nginx的速率

ngx_http_limit_req_module模块用于限制每个IP访问每个定义key的请求速率。
　　limit_req_zone参数说明如下。
　　　　语法：limit_req_zone key zone=name:size rate=rate;
　　　　上下文：http
　　　　用于设置共享内存区域，key可以是字符串，Nginx自带变量或前两个组合。name为内存区域的名称，size为内存区域的大小，rate为速率，单位为r/s,每秒一个请求。
　　limit_req参数说明如下：
　　　　语法：limit_req zone=name [burst-number] [nobelay]
　　　　上下文：http、server、location
　　　　这里运用了令牌桶原理，burst=num，一个有num快令牌，令牌发完后，多出来的那些请求就会返回503。
　　nodelay默认在不超过burst值得前提下会排队等待处理，如果使用此参数，就会处理完num+1次请求，剩余的请求为超时，返回503。

24.nginx防CC×××

http配置：

每个×××都会产生日志

25.设置防CC×××脚本

脚本配置，自动防御

[[email protected] work]# vim cc.sh      #编辑主动防御脚本
#!/bin/sh
status=`netstat -na|awk ‘$5 ~ /[0-9]+:[0-9]+/ {print $5}‘ |awk -F ":" -- ‘{print $1}‘ |sort -n|uniq -c |sort -n|tail -n 1`
NUM=`echo $status|awk ‘{print $1}‘`
IP=`echo $status|awk ‘{print $2}‘`
result=`echo "$NUM > 150" | bc`
if [ $result = 1 ]
then
echo IP:$IP is over $NUM, BAN IT!
/sbin/iptables -I INPUT -s $IP -j DROP
fi

[[email protected] work]# crontab -e           #创建自动启动检测
* * * * * /server/work/cc.sh

原文地址：http://blog.51cto.com/leoheng/2139506

时间： 2024-10-18 15:34:52

实战经验：25种Nginx优化手段的相关文章

(转)MySQL数据库的优化-运维架构师必会高薪技能，笔者近六年来一线城市工作实战经验

标签:服务器 数据库 老男孩 高薪技能 一线城市 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://liangweilinux.blog.51cto.com/8340258/1728131 首先在此感谢下我的老师-老男孩专家拥有16年一线实战经验,我当然不能和我的老师平起平坐,得到老师三分之一的真传,所以只有6年,嘿,废话不多说,下面开启MySQL优化之旅! 我们究竟应该如何对MySQL数据库进行优化?下面我就从MySQL对硬件

nginx优化25条

1.1        隐藏nginx header里版本号信息 1.2        更改源码隐藏软件名称及版本号 1.3        更改掉nginx默认用户及用户组(worker进程服务用户优化) 1.4        配置nginx worker进程个数 1.5        根据cpu核数进行nginx进程优化 1.6        nginx事件处理模型优化 1.7        调整nginx worker单个进程允许的客户端最大连接数 1.8        配置nginx wor

安装部署LNMP/大并发nginx优化/php性能加速 实战

安装部署LNMP及Nginx优化.PHP加速进行压力测试 部署LNMP环境: 主机 IP 主机名 Centos7.2 192.168.5.128 www.benet.com 部署步骤如下: 使用yum仓库安装Nginx依赖包 yum -y install  gcc gcc-c++ make libtool zlib zlib-devel pcre pcre-devel openssl openssl-devel 创建Nginx用户 组解压Nginx软件包 编译安装Nginx ./configur

50种方法优化SQL Server数据库查询（转载）

原文地址:http://www.cnblogs.com/zhycyq/articles/2636748.html 查询速度慢的原因很多,常见如下几种: 1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建计算列导致查询不优化. 4.内存不足 5.网络速度慢 6.查询出的数据量过大(可以采用多次查询,其他的方法降低数据量) 7.锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷) 8.sp_lock,sp_who,活动的用

转载 50种方法优化SQL Server数据库查询

原文地址 http://www.cnblogs.com/zhycyq/articles/2636748.html 50种方法优化SQL Server数据库查询 查询速度慢的原因很多,常见如下几种: 1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建计算列导致查询不优化. 4.内存不足 5.网络速度慢 6.查询出的数据量过大(可以采用多次查询,其他的方法降低数据量) 7.锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷

50种方法优化SQL Server

查询速度慢的原因很多,常见如下几种:    1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)    2.I/O吞吐量小,形成了瓶颈效应.    3.没有创建计算列导致查询不优化.    4.内存不足    5.网络速度慢    6.查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)    7.锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)    8.sp_lock,sp_who,活动的用户查看,原因是读写竞争资源.    9.返回了不必要的行和列   

Nginx优化（十七）

[教程主题]:Nginx优化 [课程录制]: 创E [主要内容] Nginx 优化 nginx介绍 Nginx是俄罗斯人编写的十分轻量级的HTTP服务器,Nginx,它的发音为“engine X”,是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP 代理服务器．Nginx是由俄罗斯人 Igor Sysoev为俄罗斯访问量第二的 Rambler.ru站点开发. Nginx以事件驱动(epoll)的方式编写,所以有非常好的性能,同时也是一个非常高效的反向代理.负载平衡.

【Oracle 集群】ORACLE DATABASE 11G RAC 知识图文详细教程之RAC 特殊问题和实战经验（五）

RAC 特殊问题和实战经验(五) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RAC安装与使用教程前,笔者先对这篇文章整体构思和形成进行梳理.由于阅读者知识储备层次不同,我将从Oracle RAC安装前的准备与规划开始进行整体介绍安装部署Oracle RAC.始于唐博士指导,对数据库集群进行配置安装,前

nginx优化全解

1.1 隐藏nginx header里版本号信息 1.查看版本号  [[email protected] ~]# curl -I 127.0.0.1 HTTP/1.1 200 OK Server: nginx/1.6.2 Date: Sat, 14 Mar 2015 08:15:29 GMT Content-Type: text/html Content-Length: 25 Last-Modified: Fri, 13 Mar 2015 10:52:27 GMT Connection: kee