用 Python 理解 Web 并发模型

用 Python 理解 Web 并发模型

http://www.jianshu.com/users/1b1fde012122/latest_articles

来源:MountainKing

链接:http://www.jianshu.com/p/80feb3bf5c70#

前言

虽然异步是我们急需掌握的高阶技术,但是不积跬步无以至千里,同步技术的学习是不能省略的。今天这篇文章主要用Python来介绍Web并发模型,直观地展现同步技术的缺陷以及异步好在哪里。

最简单的并发

import socket

response = ‘HTTP/1.1 200 OK\r\nConnection: Close\r\nContent-Length: 11\r\n\r\nHello World‘

server = socket.socket()

server.bind((‘0.0.0.0‘, 9527))

server.listen(1024)

while True:

client, clientaddr = server.accept()  # blocking

request = client.recv(1024)  # blocking

client.send(response)  # maybe blocking

client.close()

上面这个例子太简单了,访问localhost:9527,返回“Hello World”。用ab来测试性能,数据如下:

ab -n 100000 -c 8 http://localhost:9527/

Time taken for tests:   1.568 seconds

发送10万个请求,8(我的CPU核数为8)个请求同时并发,耗时1.568秒。

性能瓶颈在哪里呢?就在上面的两个半阻塞。

accept和recv是完全阻塞的,而为什么send是半个阻塞呢?

在内核的 socket实现中,会有两个缓存 (buffer)。read buffer 和 write buffer 。当内核接收到网卡传来的客户端数据后,把数据复制到 read buffer ,这个时候 recv阻塞的进程就可以被唤醒。

当调用 send的时候,内核只是把 send的数据复制到 write buffer 里,然后立即返回。只有 write buffer 的空间不够时 send才会被阻塞,需要等待网卡发送数据腾空 write buffer 。在 write buffer的空间足够放下 send的数据时进程才可以被唤醒。

如果一个请求处理地很慢,其他请求只能排队,那么并发量肯定会受到影响。

多进程

每个请求对应一个进程倒是能解决上面的问题,但是进程太占资源,每个请求的资源都是独立的,无法共享,而且进程的上下文切换成本也很高。

import socket

import signal

import multiprocessing

response = ‘HTTP/1.1 200 OK\r\nConnection: Close\r\nContent-Length: 11\r\n\r\nHello World‘

server = socket.socket()

server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

server.bind((‘0.0.0.0‘, 9527))

server.listen(1024)

def handler(client):

request = client.recv(1024)

client.send(response)

client.close()

#多进程里的子进程执行完后并不会死掉,而是变成僵尸进程,等待主进程挂掉后才会死掉,下面这条语句可以解决这个问题。

signal.signal(signal.SIGCHLD,signal.SIG_IGN)

while True:

client, addr = server.accept()

process = multiprocessing.Process(target=handler, args=(client,))

process.start()

Prefork

这是多进程的改良版,预先分配好和CPU核数一样的进程数,可以控制资源占用,高效处理请求。

import socket

import multiprocessing

response = ‘HTTP/1.1 200 OK\r\nConnection: Close\r\nContent-Length: 11\r\n\r\nHello World‘

server = socket.socket()

server.bind((‘0.0.0.0‘, 9527))

server.listen(1024)

def handler():

while True:

client, addr = server.accept()

request = client.recv(1024)

client.send(response)

client.close()

processors = 8

for i in range(0, processors):

process = multiprocessing.Process(target=handler, args=())

process.start()

耗时:1.640秒。

线程池

import Queue

import socket

import threading

response = ‘HTTP/1.1 200 OK\r\nConnection: Close\r\nContent-Length: 11\r\n\r\nHello World‘

server = socket.socket()

server.bind((‘0.0.0.0‘, 9527))

server.listen(1024)

def handler(queue):

while True:

client  = queue.get()

request = client.recv(1024)

client.send(response)

client.close()

queue = Queue.Queue()

processors = 8

for i in range(0, processors):

thread = threading.Thread(target=handler, args=(queue,))

thread.daemon = True

thread.start()

while True:

client, clientaddr = server.accept()

queue.put(client)

耗时:3.901秒,大部分时间花在队列上,线程占用资源比进程少(资源可以共享),但是要考虑线程安全问题和锁的性能,而且python有臭名昭著的GIL,导致不能有效利用多核CPU。

epoll

import select

import socket

response = ‘HTTP/1.1 200 OK\r\nConnection: Close\r\nContent-Length: 11\r\n\r\nHello World‘

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

server.setblocking(False)

server_address = (‘localhost‘, 9527)

server.bind(server_address)

server.listen(1024)

READ_ONLY = select.EPOLLIN | select.EPOLLPRI

epoll = select.epoll()

epoll.register(server, READ_ONLY)

timeout = 60

fd_to_socket = { server.fileno(): server}

while True:

events = epoll.poll(timeout)

for fd, flag in events:

sock = fd_to_socket[fd]

if flag & READ_ONLY:

if sock is server:

conn, client_address = sock.accept()

conn.setblocking(False)

fd_to_socket[conn.fileno()] = conn

epoll.register(conn, READ_ONLY)

else:

request = sock.recv(1024)

sock.send(response)

sock.close()

del fd_to_socket[fd]

最后祭出epoll大神,三大异步通信框架Netty、NodeJS、Tornado共同采用的通信技术,耗时1.582秒,但是要注意是单进程单线程哦。epoll真正发挥作用是在长连接应用里,单线程处理上万个长连接玩一样,占用资源极少。

时间: 2024-10-25 20:59:20

用 Python 理解 Web 并发模型的相关文章

web并发模型

并发:cpu划分时间片,轮流执行每个请求任务,时间片到期后,换到下一个. 并行:在多核服务器上,每个cpu内核执行一个任务,是真正的并行 IO密集型的应用,由于请求过程中很多时间都是外部IO操作,CPU在wait状态,所以并发执行可以有效提高系统吞吐量 纯CPU密集型的应用:在单核上并发执行多个请求,不能提高系统吞吐量(由于任务来回场景切换的开销,吞吐量反而会下降);只有多核并行运算,才能有效提高吞吐量 web并发模型有:multi-process   multi-thread    multi

Java并发指南2:深入理解Java内存模型JMM

一:JMM基础与happens-before 并发编程模型的分类 在并发编程中,我们需要处理两个关键问题:线程之间如何通信及线程之间如何同步(这里的线程是指并发执行的活动实体).通信是指线程之间以何种机制来交换信息.在命令式编程中,线程之间的通信机制有两种:共享内存和消息传递. 在共享内存的并发模型里,线程之间共享程序的公共状态,线程之间通过写-读内存中的公共状态来隐式进行通信.在消息传递的并发模型里,线程之间没有公共状态,线程之间必须通过明确的发送消息来显式进行通信. 同步是指程序用于控制不同

13.python中web框架概念的引入。

一.什么是web框架? 框架,就是一个为解决一个开放性问题而设计的具有一定约束性的支撑结构,使用框架可以帮你快速开发特定的系统,简单地说,就是你用别人搭建好的舞台来做表演. 对于所有的Web应用,本质上其实就是一个socket服务端,用户的浏览器其实就是一个socket客户端. 最简单的Web应用就是先把HTML用文件保存好,用一个现成的HTTP服务器软件,接收用户请求,从文件中读取HTML,返回. 如果要动态生成HTML,就需要把上述步骤自己来实现.不过,接受HTTP请求.解析HTTP请求.发

Flask之旅《Flask Web开发:基于Python的Web应用开发实战》学习笔记

<Flask Web开发:基于Python的Web应用开发实战> 点击上方的"目录"快速到达哦! 虽然简单的网站(Flask+Python+SAE)已经上线,但只是入门.开发大型网站,系统地学习一遍还是有必要的. 1 虚拟环境 2016-6-8 书上介绍了 virtualenv,每个venv都会拷贝一份packages到项目 /venv目录. virtualenv venv venv\Scripts\activate.bat (venv) $ pip freeze >

apache并发模型

并发模型: 在讨论HTTP面对并发连接之前我们先讨论一下银行工作人员面对大量客户时的工作机制,其实银行的工作机制与HTTP的工作面对并发时的工作机制是类似的. 1.    如果一个银行在刚开业只有一个柜台,假设接待一个客户需要5分钟的话,那么如果同时来10个客户,只能先接待接待一个,让另外的9个人先等着排列,如果队列很多,很多人连大厅都坐不下,保安就不让排队了. 2.    银行的人员越来越多,然后开了10个柜台,同时来了100个用户,还有90个等待,为什么不能开100个柜台呢?你不考虑成本的吗

Python之WEB编程入门

前面很多内容都是在介绍 Python 的知识点.这些知识点可以说涵盖了 Python 80% 的方面.在接着往下分享的话,那就是 Python 高阶的知识点.比如语言本身的自身能力(反射).描述器.元编程等内容了.再接着就是 WEB 相关的内容了. 接下来会花很多篇章来介绍 WEB 相关的知识点.然后再介绍如何从零开始实现一个 WEB 框架.内容还是比较多的,请有需要的同学多多关注. 这里从零开始写一个框架出来,目的是为了更好地使用现有的 WEB 框架,了解现有 WEB 框架是如何工作的,这才是

深入理解Java内存模型(1 ) -- 基础(转载)

原文地址:http://www.infoq.com/cn/articles/java-memory-model-1 并发编程模型的分类 在并发编程中,我们需要处理两个关键问题:线程之间如何通信及线程之间如何同步(这里的线程是指并发执行的活动实体).通信是指线程之间以何种机制来交换信息.在命令式编程中,线程之间的通信机制有两种:共享内存和消息传递. 在共享内存的并发模型里,线程之间共享程序的公共状态,线程之间通过写-读内存中的公共状态来隐式进行通信.在消息传递的并发模型里,线程之间没有公共状态,线

Python之Web框架介绍

所有的语言Web框架本质其实就是起一个socket服务端,监听一个端口,然后运行起来 Web框架包含两部分,一部分是socket,另外一部分是业务的逻辑处理,根据请求的不同做不同的处理 Python的Web框架分成了两类, 即包含socket也包含业务逻辑处理的(tornado) 不包含socket(框架本身通过第三方模块实现socket)只包含业务逻辑处理(django,Flask) WSGI的全称是Web Server Gateway Interface,翻译过来就是Web服务器网关接口.具

深入理解CSS盒子模型

前言:前阵子在做一个项目时,在页面布局方面遇到了一点小问题,于是上stackoverflow上求助.ifaou在帮助我解决我问题的同时,还推荐我阅读一篇有关CSS盒子模型的文章<The CSS Box Model>,阅读之后受益匪浅,才知道自己对盒子模型知识还是如此欠缺.恰逢学期末,项目验收后暂时告一段落,有空闲的时间.于是想把这篇文章翻译出来,一方面再给自己一点挑战和锻炼,另一方面也给大家参考,让更多的人受益. 这篇文章适合初级web设计朋友,让你对盒子模型有更近一步的理解.但是在阅读这篇文