Linux学习之路-Nginx(1)介绍篇【22】---20180206

  • 一、Nginx介绍

    • Nginx:engine X ,2002年,开源,商业版
    • http协议:web服务器(类似于httpd)、http reverse proxy(类似于httpd)、imap/pop3 reverse proxy,tcp
    • NGINX is a free, open-source, high-performance an HTTP and reverse proxy server, a mail proxy server, and a generic TCP/UDP proxy server
    • C10K(10K Connections)
    • 二次开发版:Tengine, OpenResty
    • 官网:http://nginx.org
    1. 1、Nginx特性及基本功能
    • 特性:

      模块化设计,较好的扩展性

      高可靠性

      支持热部署:不停机更新配置文件,升级版本,更换日志文件

      低内存消耗:10000个keep-alive连接模式下的非活动连接,仅需要2.5M内存

      event-driven,aio,mmap,sendfile

    • 基本功能:

      静态资源的web服务器

      http协议反向代理服务器

      pop3/imap4协议反向代理服务器

      FastCGI(lnmp),uWSGI(python)等协议

      模块化(非DSO),如zip,SSL模块

    1. 2、nginx的功用
    • 静态的web资源服务器

      html,图片,js,css,txt等静态资源

    • 结合FastCGI/uWSGI/SCGI等协议反向代理动态资源请求
    • http/https协议的反向代理
    • imap4/pop3协议的反向代理
    • tcp/udp协议的请求转发(反向代理)


    1. 3、nginx的程序架构
    • web服务相关的功能:

      虚拟主机(server)

      支持 keep-alive 和管道连接

      访问日志(支持基于日志缓冲提高其性能)

      url rewirte

      路径别名

      基于IP及用户的访问控制

      支持速率限制及并发数限制

      重新配置和在线升级而无须中断客户的工作进程

      Memcached 的 GET 接口

    • nginx的程序架构:

      master/worker结构

      一个master进程:

      负载加载和分析配置文件、管理worker进程、平滑升级

      一个或多个worker进程

      处理并响应用户请求

      缓存相关的进程:

      cache loader:载入缓存对象

      cache manager:管理缓存对象


    1. 二、I/O介绍
    • I/O:

      网络IO:本质是socket读取

      磁盘IO:

    • 每次IO,都要经由两个阶段:

      第一步:将数据从磁盘文件先加载至内核内存空间(缓冲区),等待数据准备完成,时间较长

      第二步:将数据从内核缓冲区复制到用户空间的进程的内存中,时间较短

    1. 1、I/O模型的具体实现
    • 主要实现方式有以下几种:
    • Select:Linux实现对应,I/O复用模型,BSD4.2最早实现
    • Poll:Linux实现,对应I/O复用模型,System V unix最早实现
    • Epoll:Linux实现,对应I/O复用模型,具有信号驱动I/O模型的某些特性
    • Kqueue:FreeBSD实现,对应I/O复用模型,具有信号驱动I/O模型的某些特性
    • /dev/poll:SUN的Solaris实现,对应I/O复用模型,具有信号驱动I/O模型的某些特性
    • Iocp Windows实现,对应第5种(异步I/O)模型


    1. 2、select/poll/epoll
    • Select:POSIX所规定,目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理
    • 缺点

      单个进程可监视的fd数量被限制,即能监听端口的数量有限

      cat /proc/sys/fs/file-max

      对socket是线性扫描,即采用轮询的方法,效率较低

      select 采取了内存拷贝方法来实现内核将 FD 消息通知给用户空间,这样一个用来存放大量fd的数据结构,这样会使得用户空间和内核空间在传递该结构时复制开销大

    • poll

      本质上和select没有区别,它将用户传入的数组拷贝到内核空间,然后查询每个fd对应的设备状态

      其没有最大连接数的限制,原因是它是基于链表来存储的

      大量的fd的数组被整体复制于用户态和内核地址空间之间,而不管这样的复制是不是有意义

      poll特点是“水平触发”,如果报告了fd后,没有被处理,那么下次poll时会再次报告该fd

      边缘触发:只通知一次

    • epoll:在Linux 2.6内核中提出的select和poll的增强版本

      支持水平触发LT和边缘触发ET,最大的特点在于边缘触发,它只告诉进程哪些fd刚刚变为就需态,并且只会通知一次

      使用“事件”的就绪通知方式,通过epoll_ctl注册fd,一旦该fd就绪,内核就会采用类似callback的回调机制来激活该fd,epoll_wait便可以收到通知

    • 优点:

      没有最大并发连接的限制:能打开的FD的上限远大于1024(1G的内存能监听约10万个端口)

      效率提升:非轮询的方式,不会随着FD数目的增加而效率下降;只有活跃可用的FD才会调用callback函数,即epoll最大的优点就在于它只管理“活跃”的连接,而跟连接总数无关

      内存拷贝,利用mmap()文件映射内存加速与内核空间的消息传递;即epoll使用mmap减少复制开销


    1. 3、I/O模型
    • 同步/异步:关注的是消息通信机制

      同步:synchronous,调用者自已主动等待被调用者返回消息,才能继续执行

      异步:asynchronous,被调用者通过状态、通知或回调机制主动通知调用者被调用者的运行状态

    • 阻塞/非阻塞:关注调用者在等待结果返回之前所处的状态

      阻塞:blocking,指IO操作需要彻底完成后才返回到用户空间,调用结果返回之前,调用者被挂起

    • 非阻塞:nonblocking,指IO操作被调用后立即返回给用户一个状态值,无需等到IO操作彻底完成,最终的调用结果返回之前,调用者不会被挂起
    • I/O模型:

      阻塞型、非阻塞型、复用型、信号驱动型、异步

    1. 4、同步阻塞IO模型
    • 同步阻塞IO模型是最简单的IO模型,用户线程在内核进行IO操作时被阻塞
    • 用户线程通过系统调用read发起IO读操作,由用户空间转到内核空间。内核等到数据包到达后,然后将接收的数据拷贝到用户空间,完成read操作
    • 用户需要等待read将数据读取到buffer后,才继续处理接收的数据。整个IO请求的过程中,用户线程是被阻塞的,这导致用户在发起IO请求时,不能做任何事情,对CPU的资源利用率不够

    1. 5、同步非阻塞IO模型
    • 用户线程发起IO请求时立即返回。但并未读取到任何数据,用户线程需要不断地发起IO请求,直到数据到达后,才真正读取到数据,继续执行。即 “轮询”机制
    • 整个IO请求的过程中,虽然用户线程每次发起IO请求后可以立即返回,但是为了等到数据,仍需要不断地轮询、重复请求,消耗了大量的CPU的资源
    • 是比较浪费CPU的方式,一般很少直接使用这种模型,而是在其他IO模型中使用非阻塞IO这一特性

    1. 6、IO多路复用模型
    • 多个连接共用一个等待机制,本模型会阻塞进程,但是进程是阻塞在select或者poll这两个系统调用上,而不是阻塞在真正的IO操作上
    • 用户首先将需要进行IO操作添加到select中,继续执行做其他的工作(异步),同时等待select系统调用返回。当数据到达时,IO被激活,select函数返回。用户线程正式发起read请求,读取数据并继续执行。
    • 从流程上来看,使用select函数进行IO请求和同步阻塞模型没有太大的区别,甚至还多了添加监视IO,以及调用select函数的额外操作,效率更差。并且阻塞了两次,但是第一次阻塞在select上时,select可以监控多个IO上是否已有IO操作准备就绪,即可达到在同一个线程内同时处理多个IO请求的目的。而不像阻塞IO那种,一次只能监控一个IO
    • 虽然上述方式允许单线程内处理多个IO请求,但是每个IO请求的过程还是阻塞的(在select函数上阻塞),平均时间甚至比同步阻塞IO模型还要长。如果用户线程只是注册自己需要的IO请求,然后去做自己的事情,等到数据到来时再进行处理,则可以提高CPU的利用率
    • IO多路复用是最常使用的IO模型,但是其异步程度还不够“彻底”,因为它使用了会阻塞线程的select系统调用。因此IO多路复用只能称为异步阻塞IO模型,而非真正的异步IO

    1. 7、多路I/O复用
    • IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取,它就通知该进程
    • IO多路复用适用如下场合:

      当客户端处理多个描述符时(一般是交互式输入和网络套接口),必须使用I/O复用

      当一个客户端同时处理多个套接字时,此情况可能的但很少出现

      当一个TCP服务器既要处理监听套接口,又要处理已连接套接口,一般也要用到I/O复用

      当一个服务器即要处理TCP,又要处理UDP,一般要使用I/O复用

      当一个服务器要处理多个服务或多个协议,一般要使用I/O复用

    1. 8、信号驱动IO模型
    • 信号驱动IO:signal-driven I/O
    • 用户进程可以通过sigaction系统调用注册一个信号处理程序,然后主程序可以继续向下执行,当有IO操作准备就绪时,由内核通知触发一个SIGIO信号处理程序执行,然后将用户进程所需要的数据从内核空间拷贝到用户空间
    • 此模型的优势在于等待数据报到达期间进程不被阻塞。用户主程序可以继续执行,只要等待来自信号处理函数的通知
    • 该模型并不常用

    1. 9、异步IO模型
    • 异步IO与信号驱动IO最主要的区别是信号驱动IO是由内核通知何时可以进行IO操作,而异步IO则是由内核告诉我们IO操作何时完成了。具体来说就是,信号驱动IO当内核通知触发信号处理程序时,信号处理程序还需要阻塞在从内核空间缓冲区拷贝数据到用户空间缓冲区这个阶段,而异步IO直接是在第二个阶段完成后内核直接通知可以进行后续操作了
    • 相比于IO多路复用模型,异步IO并不十分常用,不少高性能并发服务程序使用IO多路复用模型+多线程任务处理的架构基本可以满足需求。况且目前操作系统对异步IO的支持并非特别完善,更多的是采用IO多路复用模型模拟异步IO的方式(IO事件触发时不直接通知用户线程,而是将数据读写完毕后放到用户指定的缓冲区中)

    1. 10、五种I/O模型对比

    原文地址:http://blog.51cto.com/exia00linux/2084583

    时间: 2024-07-31 09:54:32

    Linux学习之路-Nginx(1)介绍篇【22】---20180206的相关文章

    Linux学习之路-Nginx(3)模块简要介绍篇【26】---20180222

    一.Nginx模块介绍 nginx高度模块化,但其模块早期不支持DSO机制:1.9.11版本支持动态装载和卸载 模块分类: 核心模块:core module 标准模块: HTTP 模块: ngx_http_* HTTP Core modules 默认功能 HTTP Optional modules 需编译时指定 Mail 模块 ngx_mail_* Stream 模块 ngx_stream_* 第三方模块 二.ngx_http_core_module模块 ngx_http_core_module

    linux学习之路及文本查看和文本处理命令

    这一篇主要介绍几个常用的文本查看命令和文本处理命令. 首先介绍文本查看命令 cat:用于连接文件并显示 说明:当只有一个文件时,则用于查看文件内容:当有多个文件时,cat命令会将这些文件连接起来,在一起显示出来 语法格式:cat [option] FILE... -n:显示内容的时候把行号显示出来 -E:显示每一行的结束符$符(默认不显示) tac:也是用于显示文件内容,只不过他是将文件的内容倒过来显示,与cat相反 -n:显示行号 -E:显示每一行结尾的结束符$ 分屏操作命令 more与les

    linux学习之路之LVM

    试想一种情况,当初我们在规划磁盘的时候,只给某一个磁盘或分区之划分了30G的容量,但是后来,随着业务的需求,该磁盘或者分区的使用量会越来越大,等到以后再有数据存放时,发现该磁盘或者分区的容量不够用,此时该怎么办了?可以新增一个磁盘,经过格式化,挂载等过程就可以使用这个磁盘了,再将原来磁盘的数据完全的复制过来.等到后来又发现,规划的磁盘又太大了,然后又使用上述方法来减少磁盘的大小.虽然这种方法可行,但是效率低,比较复杂.不应该是我们首选的方法. 当然,我们可以这样做,将多个磁盘或者分区(PV)组合

    linux学习之路之磁盘管理和文件系统三

    ext3文件系统和ext2文件系统的区别? 在某些时候,某个用户在linux系统上写入数据,这时系统正好断电或者系统核心出现错误,写入的数据仅有inode table和datablock而已,可能会导致之前写过的数据没有保存在磁盘上.而当系统重启后,系统可能会对没有保存的数据进行数据恢复.但是,由于系统并不知道是哪个文件不完整,因此会遍历整个文件系统中inode,来查看block是否完整.不过,当某个文件的数据太大时,数据的恢复时间可能会比较长,而这对于服务器来说是不利的.所以在这种情况下,也就

    linux学习之路之vim编辑器的使用

    本章将介绍vim编辑器的使用 vim编辑器是vi编辑器的增强版 vim是一种全屏的编辑器,是一种模式化的编辑器,之所以称为模式化的编辑器,因为vim有多种模式. 接下来将介绍vim主要的三种模式: 编辑模式(也叫命令模式):在该模式下你可以完成字符串跳转,字符串删除,翻屏操作等操作 输入模式:在该模式下输入的任何字符都会保存在该文件中,作为文件的一部分 末行模式:在该模式下,可以实现字符串搜索,字符串替换等操作 vim编辑器的三种模式之间的相互转换 模式转换: 编辑模式-->输入模式 i:在当前

    linux学习之路之文本的查找---find命令的使用

    文本的查找可以使用两种方式来实现,即使用locate命令来查找和find命令来查找 那么这两种方式有什么区别呢? locate:是一种非实时查找,所谓非实时查找就是查找的不够实际,不够精确.因为locate查找是在 系统文件数据库中进行的,而数据库默认是一天更新一次,也就是说你查找的文件再数据库 更新之前查找的话,有可能找不到文件,因为那时数据库还没有去读取硬盘上的文件,所以 有些文件没有写入到数据库中. 可以收到更新数据库,使用命令updatedb 因为不上在硬盘上读取,因此速度快 locat

    linux学习之路之sed命令使用

    本章主要介绍sed的命令使用 sed(Stream Editor)是一种流编辑器,或者叫做行编辑器,以行为单位进行编辑处理,而后续会介绍的vi编辑器是一种全屏编辑器. sed的工作原理: 逐行读取文件中的每一行,并将其放在内存空间中,在对内存空间中的数据进行处理,将处理后的结果打印到屏幕上.而这种内存空间也叫做模式空间. 所谓模式空间:就是将放在内存空间的数据根据模式来匹配,匹配成功的数据进行相应的编辑处理,将处理后的数据打印到屏幕上去. 说明:sed命令默认将文件中所有的行打印到屏幕上去. s

    linux学习之路之目录管理和文件管理

    我们知道linux文件系统是一个树型结构,在最上层是'/'目录,根目录的下面就是其他目录,而这些目录下面又可以有多个子目录,这样一层一层的就形成一个树型结构图.那是不是我们查找某一个文件必须要从根目录开始往下查找的呢?当然不是,在这里我将会介绍两种路径方式:相对路径和绝对路径. 什么是相对路径和绝对路径? 绝对路径:就是从'/'根目录开始往下一级一级的查找,直到目的所经过的线路. 相对路径:就是相对当前位置而言来找到目的地所经过的线路. 目录的创建 mkdir:用于创建目录 语法格式:mkdir

    linux学习之路之创建私钥CA及使用CA为客户端颁发证书

    创建CA(Certificate Authority) CA的储存格式主要有2种:x509和pkcs12 x509是目前最主流的CA储存格式,在x509格式的证书中,储存的内容主要有: 证书的公钥和使用期限 证书的合法拥有着 证书该如何被使用 CA的信息 CA签名的校验码 默认情况下,TCP/IP模型和OSI模型,并没有实现数据的加密,而要实现数据的加密需要使用TLS/SSL协议,TLS和SSL在有些Linux版本上实现的机制是相同的,因此在这里我们之介绍SSL协议 SSL(Secure Soc