I/O模型与Nginx配置

I/O类型:模块的同步和异步

同步和异步:synchronous, asyncronous

则返回即是最终结果;

调用发出之后,被调用方立即返回消息,但返回的并非最终结果;被调用者通过状态、通知机制等来通知调用者,或通过回调函数来处理结果;

I/O模型:

一次读请求操作

1 等待数据准备好:从磁盘到内核内存;

2 从内核内存复制到进程内存;

blocking IO:阻塞式IO

调用者发送请求后,就被挂起,等待数据从磁盘到内核内存,并等待从内核内存复制到进程内存,最后返回数据,完成一次I/O;

nonblocking IO:非阻塞IO

调用者发送请求后,不被挂起,但需要不断的想内核询问,直到数据从磁盘到内核内存;但在等待从内核内存复制到进程内存时,被挂起,直到返回数据,完成一次I/O

IO multiplexing:复用型IO

select(), poll()

调用者发送请求后,就被挂起,等待在数据从磁盘到内核内存,但是阻塞在select上,而不是内核上,select还可以接收其他I/O请求;但第二阶段还是阻塞的,阻塞在自己的调用上,而不是select上

signal driven IO:事件驱动式IO

通知:

水平触发:多次通知;

边缘触发:只通知一次;

调用者发送请求后,不会被挂起,而数据从磁盘到内核内存完成后会通知调用者;但第二阶段还是阻塞的

asynchronous IO:异步IO

调用者发送请求后,不会被挂起,而是在所有阶段都已完成后会通知调用者

web服务器要处理两路I/O:网络I/O [ 通过内核接收用户请求 ]和磁盘I/O [ 通过内核向磁盘发出请求 ]

Nginx:

Nginx: engine X

Tengine  nginx淘宝的二次开发版

模块:

Nginx特性:

模块化设计、较好的扩展性;

nginx不支持动态装卸载而Tengine支持

高可靠

使用主控进程master+工作进程worker组成,master不负责处理用户请求而是启动一个worker,并将用户请求交个一个worker去处理

低内存消耗的数据

一个线程响应多个请求

10000个keep-alive模式下的connection,仅需要2.5MB的内存;

支持热部署

不停机而更新配置文件、日志文件滚动、升级程序版本;

支持事件驱动event、异步I/O[AIO]、内存映射[mmap];

基本功能:

静态资源的web服务器,能缓存打开的文件描述符;

http、smtp、pop3协议的反向代理服务器;

缓存加速、负载均衡;

支持FastCGI(fpm, LNMP), uWSGI(Python)等;

模块化(非DSO机制)、过滤器zip、SSI及图像的大小调整;

支持SSL;

定制访问日志、支持使用日志缓冲区提供日志存储性能;

支持url rewrite

支持路径别名

支持基于IP及用户的访问控制

支持速率限制,支持并发数限制

Nginx的基本架构:

一个master进程,生成一个或多个worker进程;

事件驱动:epoll(默认使用边缘触发)

I/O复用器支持:select, poll, rt signal

支持sendfile, sendfile64:磁盘从内核空间直接构建响应报文发送,而不再经过用户空间。

支持异步I/O [ AIO ]

支持内存映射[mmap]

nginx的工作模式:非阻塞、事件驱动、由一个master进程生成多个worker线程,每个worker响应n个请求;

支持的并发连接数:worker * n,但是受限于套接字数量[65535]限制

邮件模块,模块类型:核心模块

Standard HTTP modules 标准的HTTP协议模块

Optional HTTP modules 可选的HTTP协议模块

Mail modules 邮件模块

3rd party modules 第三方模块

程序包安装方法:

源码:编译安装

制作好的程序包:rpm包,在epel源中

编译安装:

# useradd -r nginx

# ./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --user=nginx --group=nginx --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --with-http_ssl_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-http_mp4_module --http-client-body-temp-path=/var/tmp/nginx/client --http-proxy-temp-path=/var/tmp/nginx/proxy --http-fastcgi-temp-path=/var/tmp/nginx/fastcgi --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi

# make && make install

# mkdir -pv /var/tmp/nginx/{client,proxy,fastcgi,uwsgi}

--prefix=/usr/local/nginx

指定安装路径

--conf-path=/etc/nginx/nginx.conf

指定配置文件生成路径

--user=nginx

指定运行时以哪个用户的身份运行

--group=nginx

设置工作组

--error-log-path=/var/log/nginx/error.log

设置错误日志位置

--http-log-path=/var/log/nginx/access.log

设置访问日志位置

--pid-path=/var/run/nginx/nginx.pid

设置pid文件位置

--lock-path=/var/lock/nginx.lock

设置锁文件位置

--with-http_ssl_module

支持https

--with-http_stub_status_module

支持server-status状态页查看

--with-http_gzip_static_module

支持gzip压缩

--with-http_flv_module

支持流媒体

--with-http_mp4_module

支持MP4

--http-client-body-temp-path=/var/tmp/nginx/client

指定客户端临时的body目录

--http-proxy-temp-path=/var/tmp/nginx/proxy

指定临时的proxy目录

环境变量

# vim /etc/profile.d/nginx.sh

export PATH=‘/usr/local/nginx/sbin‘:$PATH

# . /etc/profile.d/nginx.sh

启动:nginx

若设置环境变量就用这种启动/usr/local/nginx/sbin/nginx

新改动配置生效的方式:nginx -s reload

支持的参数

nginx -s reload | stop| quit |reopen

配置文件:

官方文档:http://nginx.org/en/docs/ngx_core_module.html

main配置段:全局配置段

event{}: 定义event模型工作特性

配置指令:要以分号结尾,语法格式:

directive value1 [value2...]

主配置段的指令:

用于调试、定位问题

main主配置段的指令:

正常运行的必备配置:

1、user USERNAME [GROUPNAME];

指定运行worker进程的用户和组;若在编译安装时指定,会被注释用默认指定的用户

user nginx nginx;

2、pid /path/to/pid_file;

指定nginx守护进程的pid文件;

pid /var/run/nginx/nginx.pid;

3、worker_rlimit_nofile #;

指定所有worker进程所能够打开的最大文件数;需要手动添加这一行一般设为51200,

性能优化相关的配置:

1、worker_processes #;

worker进程的个数;通常应该略少于CPU物理核心数;总核心数-1或-2

2、worker_cpu_affinity   cpumask  ...;

将工作进程绑定到cpu的设置

优点:提升缓存的命中率;

cpumask:

假设一共有四颗cpu,表示方法,超过8颗使用更多的位数

cpu1:0000 0001

cpu2:0000 0010

3、timer_resolution

计时器解析度;若对时间解析度要求不高应降低此值,可减少gettimeofday()系统调用的次数;此值越高,精准度越高,消耗的资源越高;反之,越低

timer_resolution 100ms

4、worker_priority number

指明worker进程的优先级,使用的是nice值;

-20, 19

worker_priority number -10

事件相关的配置:

1、accept_mutex {off|on};

master调度用户请求至各worker进程时使用的负载均衡锁;on表示能让多个worker轮流地、序列化地去响应新请求;

应启用:accept_mutex on;

2、lock_file file;

accept_mutex互斥锁用到的锁文件路径;

3、use [epoll|rtsig|select|poll];

指明使用的事件模型;建议让Nginx自行选择;

4、worker_connections #;

设定单个worker进程所能够处理的最大并发连接数量;

一般设为:worker_connections 51200;

用户问题:

必须编译时--with-debug才可以使用

1、daemon {on|off};

是否以守护进程方式运行nginx;调试时应该设置为Off,就会把调试信息输出到前台;

2、master_process {on|off};

是否以master/worker模型来运行nginx; 调试时可以设置为off;

3、error_log file | stderr | syslog:server=address[,parameter=value] | memory:size [debug | info | notice | warn | error | crit | alert | emerg];

error_log 位置 级别;        级别可以省略,使用默认级别

error_log  /var/log/nginx/err.log

若要使用debug级别,需要在编译nginx时使用了--with-debug选项;

Nginx作为web服务器时使用的配置:

http {}:由ngx_http_core_module模块所引入;

配置http {

upstream {

...

}

server {

location  URL {

root "/path/to/somedir";

...

}

# 类似于httpd中的<Location>,用于定义URL与本地文件系统的映射关系;

location URL {

注意:与http相关的指令仅能够放置于http、server、location、upstream、if上下文,但有些指令仅应用于这5种上下文中的某些种;

指令:

1、server {}

定义一个虚拟主机;

server {

//监听IP和端口,ip可以省略listen 80

listen 172.16.37.10:80;

2、server_name NAME [...];

后可跟多个主机;名称还可以使用正则表达式(~)或通配符;

(1) 先做精确匹配检查;

(2) 左侧通配符匹配检查:*.lixin.com

(3) 右侧通配符匹配检查:如mail.*

(4) 正则表达式匹配检查:如 ~^.*\.lixin\.com$

(5) default_server;

3、location [ = | ~ | ~* | ^~ ] uri { ... }

功能:允许根据用户请求的URI来匹配定义的各location;匹配到时,此请求将被相应的location配置块中的配置所处理,例如做访问控制等功能;

server {

listen 80;

server_name www.lixin.com;

location / {

root "/vhosts/web1";

}

location /bbs/ {

root   /;

index  index.html index.htm;

}

location ~*/bbs {

root "/";

}

}

http://www.lixin.com/index.html   -->  /vhosts/web1/index.html

http://www.lixin.com/bbs/index.html   --> /bbs/index.html 匹配到第3个location,以表示把http://www.lixin.com/bbs/ 当做 /

4、alias path;

用于location配置段,定义路径别名

location /images/ {

root "/vhosts/web1";

}

http://www.lixin.com/images/a.jpg -->/vhosts/web1/images/a.jpg

注意:root表示指明路径为对应的location "/" URL; alias表示路径映射,即location指令后定义的URL是相对于alias所指明的路径而言;

5、error_page code [...] [=code] URI | @name

根据http响应状态码来指明特用的错误页面;

error_page 404 /404_customed.html

[=code]:以指定的响应码进行响应,而不是默认的原来的响应;默认表示以新资源的响应码为其响应码;

6、基于IP的访问控制

allow IP/Network;

deny IP/Network;

例:

allow 172.16.0.0/16;

deny all;

7、基于用户的访问控制

auth_basic "显示提示信息";

auth_basic_user_file "/PATH/TO/PASSWORD_FILE";

账号密码文件建议使用htpasswd来创建;

例:

9、stub_status {on|off};

开启状态页

仅能用于location上下文;

8:

location /status {

stub_status on;

allow 172.16.0.0/16;

deny all;

}

Reading: 0 Writing: 1 Waiting: 5

Reading:正处于接收请求状态的连接数;

Writing: 请求已经接收完成,正处于处理请求或发送响应的过程中的连接数;

Waiting:保持连接模式,且处于活动状态的连接数;

10、URL重写

语法:rewrite 正则表达式 替换 flag;

例如:

...

rewrite ^/images/(.*\.jpg)$ /imgs/$1 break;

rewrite ^/imgs/(.*\.jpg)$ /images/$1 break;

....

http://www.lixin.com/images/a/b/c/1.jpg --> http://www.lixin.com/imgs/a/b/c/1.jpg

11、if

语法:if (condition) {...}

应用环境:server, location

condition:

(1) 变量名;变量值为空串,或者以“0”开始,则为false;其它的均为true;(2) 以变量为操作数构成的比较表达式可使用=, !=类似的比较操作符进行测试;(3) 正则表达式的模式匹配操作~: 区分大小写的模式匹配检查

~*: 不区分大小写的模式匹配检查

!~和!~*:对上面两种测试取反

(4) 测试路径为文件可能性:-f, !-f

(5) 测试指定路径为目录的可能性:-d, !-d

(6) 测试文件的存在性:-e, !-e

(7) 检查文件是否有执行权限:-x, !-x

例如:

if ($http_user_agent ~* MSIE) {

rewrite ^(.*)$ /msie/$1 break;

}

12、防盗链

location ~* \.(jpg|gif|jpeg|png)$ {

# 允许www.lixin.com这个网站对这些种类图片的引用是合法的

valid_referer none blocked www.lixin.com;

# $invalid_referer表示除了上面定义的合法的引用,其他都被归为$invalid_refere这个不合法的引用

if ($invalid_referer) {

rewrite ^/ http://www.lixin.com/403.html;

}

}

13、自定义访问日志格式

log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘

‘$status $body_bytes_sent "$http_referer" ‘

‘"$http_user_agent" "$http_x_forwarded_for"‘;

access_log  logs/access.log  main;

注意:此处可用变量为nginx各模块内建变量;

fastcgi的相关配置:

LNMP:php启用fpm模型;

location ~ \.php$ {

root           /var/www/html;

fastcgi_pass   127.0.0.1:9000;

fastcgi_index  index.php;

fastcgi_param  SCRIPT_FILENAME /var/www/html$fastcgi_scri    pt_name;

# fastcgi_params在/etc/nginx/下  ,若编译时没指定配置文件则在/usr/local/nginx/conf/下

include        fastcgi_params;

}

时间: 2024-07-29 14:03:34

I/O模型与Nginx配置的相关文章

Nginx配置详解

Nginx配置文件主要分成四部分: main(全局设置)指令将影响其它所有部分的设置: server(主机设置)指令主要用于指定虚拟主机域名.IP和端口: upstream(上游服务器设置,主要为反向代理.负载均衡相关配置)指令用于设置一系列的后端服务器,设置反向代理及后端服务器的负载均衡: location(URL匹配特定位置后的设置),每部分包含若干个指令.location部分用于匹配网页位置(比如,根目录"/","/images",等等). 他们之间的关系式:

nginx 配置详解

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行.由俄罗斯的程序设计师Igor Sysoev所开发,供俄国大型的入口网站及搜索引擎Rambler(俄文:Рамблер)使用.其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:京东.新浪.网易.腾讯.淘宝等. 一.event模型 传统的基于进程和线程的模型在处理并发连接的时候针对每个连接

nginx 配置优化的几个参数

nginx 配置优化的几个参数 2011-04-22 本文地址: http://blog.phpbean.com/a.cn/7/ --水平有限欢迎指正-- -- 最近在服务器上搞了一些nginx 研究了一下 总结总结Sleep nginx配置文件里面需要注意的一些参数 worker_processes 8 nginx要开启的进程数 一般等于cpu的总核数 其实一般情况下开4个或8个就可 我开2个 以了 多了没有太多用 每个nginx进程消耗的内存10兆的模样 worker_cpu_affinit

nginx配置学习文章

partOne 自我释义部分 我的是阿里云的ubuntu *******实际上感觉这里是基本配置,很用不到*********#定义其用户或用户组user www-data;#nginx的进程数,应当为cpu总核数,每个cpu处理一个线程worker_processes 4;#进程文件的位置pid /run/nginx.pid; #工作模式(有很多,这里没有展现)和链接上限,由于是多种配置, 所以啊,大括号表示多重属性events{#单个进程的最大连接处(=进程数*连接数)worker_conne

nginx配置之深入理解

继上一篇<debian+nginx配置初探--php环境.反向代理和负载均衡>成功之后,有点小兴奋,终于不用整lvs那么复杂来搞定负载,但还是有很多概念没弄清楚. 什么是CGI.FastCGI.PHP-CGI.PHP-FPM.Spawn-FCGI? CGI全称是“通用网关接口”(Common Gateway Interface),其实我理解的是一个协议,它描述了客户端和HTTP服务器之间如何传输数据,因此它有各种语言的实现如perl.tcl等,php的实现就是php-cgi.而由于CGI的缺点

Nginx配置进阶(四)

Nginx配置 ============================================================================ 概述: ==================================================================== Web 架构扩展思路 1.正向代理和反向代理: ★正向代理 定义: 是一个位于客户端和原始服务器(origin server)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一

nginx配置反向代理概述

一.nginx反向代理:Web服务器的调度器 1.反向代理(Reverse Proxy)方式是指以代理服务器来接受客户端的连接请求,然后将请求转发给网络上的web服务器(可能是apache.nginx.tomcat.iis等),并将从web服务器上得到的结果返回给请求连接的客户端,此时代理服务器对外就表现为一个服务器. 图上可以看出:反向代理服务器代理网站Web服务器接收Http请求,对请求进行转发.而且nginx作为反向代理服务器可以根据用户请求的内容把请求转发给后端不同的web服务器,例如静

nginx配置文件结构1

nginx配置文件结构 main: user nginx;        进程发起的用户名     worker_processes auto;        进程数量auto为物理核心数量 error_log /var/log/nginx/error.log; 错误日志位置 pid /run/nginx.pid;                   主进程文件号的文件位置      include /usr/share/nginx/modules/*.conf;    启动的模块 worker

nginx配置入门

谢谢作者的分享精神,原文地址:http://www.nginx.cn/591.html nginx配置入门 之前的nginx配置是对nginx配置文件的具体含义进行讲解,不过对于nginx的新手可能一头雾水. 今天看到个文档不错,翻译过来分享给大家,可以让新手更详细地了解nginx配置,可以说是nginx配置入门必备. Nginx是一个轻量级高性能的web服务器,它是为快速响应大量静态文件请求和高效利用系统资源而设计的.与apache使用面向进程或线程的方式处理请求不同,nginx使用异步事件驱