第二篇：白话tornado源码之待请求阶段

上篇《白话tornado源码之一个脚本引发的血案》用上帝视角多整个框架做了一个概述，同时也看清了web框架的的本质，下面我们从tornado程序的起始来分析其源码。

概述

上图是tornado程序启动以及接收到客户端请求后的整个过程，对于整个过程可以分为两大部分：

  • 启动程序阶段，又称为待请求阶段（上图1、2所有系列和3.0）
  • 接收并处理客户端请求阶段（上图3系列）

简而言之：

1、在启
动程序阶段，第一步，获取配置文件然后生成url映射（即：一个url对应一个XXRequestHandler，从而让
XXRequestHandler来处理指定url发送的请求）；第二步，创建服务器socket对象并添加到epoll中；第三步，创建无线循环去监听
epoll。

2、在接
收并处理请求阶段，第一步，接收客户端socket发送的请求（socket.accept）；第二步，从请求中获取请求头信息，再然后根据请求头中的请
求url去匹配某个XXRequestHandler；第三步，匹配成功的XXRequestHandler处理请求；第四步，将处理后的请求发送给客户
端；第五步，关闭客户端socket。

本篇的内容主要剖析【启动程序阶段】，下面我们就来一步一步的剖析整个过程，在此阶段主要是有下面重点标注的三个方法来实现。

import tornado.ioloop
import tornado.web

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, world")

application = tornado.web.Application([
    (r"/index", MainHandler),
])

if __name__ == "__main__":
    application.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

一、application = tornado.web.Application([(xxx,xxx)])

　　执行Application类的构造函数，并传入一个列表类型的参数，这个列表里保存的是url规则和对应的处理类，即：当客户端的请求url可以配置这个规则时，那么该请求就交由对应的Handler去执行。

注意：Handler泛指继承自RequestHandler的所有类
        Handlers泛指继承自RequestHandler的所有类的集合

Application.__init__

Application.add_handlers

URLSpec

上述代码主要完成了以下功能：加载配置信息和生成url映射，并且把所有的信息封装在一个application对象中。

加载的配置信息包括：

  • 编码和返回方式信息
  • 静态文件路径
  • ui_modules（模版语言中使用，暂时忽略）
  • ui_methods（模版语言中使用，暂时忽略）
  • 是否debug模式运行

　　以上的所有配
置信息，都可以在settings中配置，然后在创建Application对象时候，传入参数即可。如：application =
tornado.web.Application([(r"/index", MainHandler),],**settings)

生成url映射：

  • 将url和对应的Handler添加到对应的主机前缀中，如：safe.index.com、www.auto.com

 封装数据：

　　将配置信息和url映射关系封装到Application对象中，信息分别保存在Application对象的以下字段中：

  • self.transforms，保存着编码和返回方式信息
  • self.settings，保存着配置信息
  • self.ui_modules，保存着ui_modules信息
  • self.ui_methods，保存这ui_methods信息
  • self.handlers，保存着所有的主机名对应的Handlers，每个handlers则是url正则对应的Handler

二、application.listen(xxx)

　　第一步操作将配置和url映射等信息封装到了application对象中，
而这第二步执行application对象的listen方法，该方法内部又把之前包含各种信息的application对象封装到了一个
HttpServer对象中，然后继续调用HttpServer对象的liseten方法。

class Application(object):
    #创建服务端socket，并绑定IP和端口并添加相应设置，注：未开始通过while监听accept，等待客户端连接
    def listen(self, port, address="", **kwargs):
        from tornado.httpserver import HTTPServer
        server = HTTPServer(self, **kwargs)
        server.listen(port, address)

详细代码：

HTTPServer

IOLoop

stack_context.wrap

备注：stack_context.wrap其实就是对函数进行一下封装，即：函数在不同情况下上下文信息可能不同。

上述代码本质上就干了以下这么四件事：

  1. 把包含了各种配置信息的application对象封装到了HttpServer对象的request_callback字段中
  2. 创建了服务端socket对象
  3. 单例模式创建IOLoop对象，然后将socket对象句柄作为key，被封装了的函数_handle_events作为value，添加到IOLoop对象的_handlers字段中
  4. 向epoll中注册监听服务端socket对象的读可用事件

目前，我们只是看到上述代码大致干了这四件事，而其目的有什么？他们之间的联系又是什么呢？

答：现在不妨先来做一个猜想，待之后再在源码中确认验证是否正确！猜想：通过 epoll监听服务端socket事件，一旦请求到达时，则执行3中被封装了的_handle_events函数，该函数又利用application中 封装了的各种配置信息对客户端url来指定判定，然后指定对应的Handler处理该请求。

注意：使用epoll创建服务端socket

Code

上述，其实就是利用epoll对象的poll(timeout)方法去轮询已经注册在epoll中的socket句柄，当有读可用的信息时候，则返回包含当前句柄和Event Code的序列，然后在通过句柄对客户端的请求进行处理

三、tornado.ioloop.IOLoop.instance().start()

上一步中创建了socket对象并使得socket对象和epoll建立了关系，该步骤则就来执行epoll的epoll方法去轮询已经注册在epoll对象中的socket句柄，当有读可用信息时，则触发一些操作什么的....


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

class IOLoop(object):

    def add_handler(self, fd, handler, events):

        #HttpServer的Start方法中会调用该方法

        self._handlers[fd] = stack_context.wrap(handler)

        self._impl.register(fd, events | self.ERROR)

        

    def start(self):

        while True:

            poll_timeout = 0.2

            try:

                #epoll中轮询

                event_pairs = self._impl.poll(poll_timeout)

            except Exception, e:

                #省略其他

            #如果有读可用信息，则把该socket对象句柄和Event Code序列添加到self._events中

            self._events.update(event_pairs)

            #遍历self._events，处理每个请求

            while self._events:

                fd, events = self._events.popitem()

                try:

                    #以socket为句柄为key，取出self._handlers中的stack_context.wrap(handler)，并执行

                    #stack_context.wrap(handler)包装了HTTPServer类的_handle_events函数的一个函数

                    #是在上一步中执行add_handler方法时候，添加到self._handlers中的数据。

                    self._handlers[fd](fd, events)

                except:

                    #省略其他

对于上述代码，执行start方法后，程序就进入“死循环”，也就是会一直不停的轮询的去检查是否有请求到来，如果有请求到达，则执行封装了HttpServer类的_handle_events方法和相关上下文的stack_context.wrap(handler)（其实就是执行HttpServer类的_handle_events方法），详细见下篇博文，简要代码如下：

class HTTPServer(object):
    def _handle_events(self, fd, events):
        while True:
            try:
                connection, address = self._socket.accept()
            except socket.error, e:
                if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN):
                    return
                raise
            if self.ssl_options is not None:
                assert ssl, "Python 2.6+ and OpenSSL required for SSL"
                try:
                    connection = ssl.wrap_socket(connection,
                                                 server_side=True,
                                                 do_handshake_on_connect=False,
                                                 **self.ssl_options)
                except ssl.SSLError, err:
                    if err.args[0] == ssl.SSL_ERROR_EOF:
                        return connection.close()
                    else:
                        raise
                except socket.error, err:
                    if err.args[0] == errno.ECONNABORTED:
                        return connection.close()
                    else:
                        raise
            try:
                if self.ssl_options is not None:
                    stream = iostream.SSLIOStream(connection, io_loop=self.io_loop)
                else:
                    stream = iostream.IOStream(connection, io_loop=self.io_loop)
                HTTPConnection(stream, address, self.request_callback,
                               self.no_keep_alive, self.xheaders)
            except:
                logging.error("Error in connection callback", exc_info=True) 

结束

本篇博文介绍了“待请求阶段”的所作所为，简要来说其实就是三件事：其一、把 setting中的各种配置以及url和Handler之间的映射关系封装到来application对象中（application对象又被封装到了 HttpServer对象的request_callback字段中）；其二、结合epoll创建服务端socket；其三、当请求到达时交由 HttpServer类的_handle_events方法处理请求，即：处理请求的入口。对于处理请求的详细，请参见下篇博客（客官莫急，加班编写 中...）

时间： 2024-10-29 04:20:24

第二篇：白话tornado源码之待请求阶段的相关文章

第三篇：白话tornado源码之请求来了

上一篇<白话tornado源码之待请求阶段>中介绍了tornado框架在客户端请求之前所做的准备(下图1.2部分),本质上就是创建了一个socket服务端,并进行了IP和端口的绑定,但是未执行 socket的accept方法,也就是未获取客户端请求信息. 概述 本篇就来详细介绍tornado服务器(socket服务端)是如何接收用户请求 数据以及如果根据用户请求的URL处理并返回数据,也就是上图的3系列所有步骤,如上图[start]是一个死循环,其中利用epoll监听服务端 socket句柄,

第五篇：白话tornado源码之褪去模板的外衣

上一篇<白话tornado源码之请求来了> 介绍了客户端请求在tornado框架中的生命周期,其本质就是利用epoll和socket来获取并处理请求.在上一篇的内容中,我们只是给客户端返回 了简单的字符串,如:“Hello World”,而在实际开发中,需要使用html文件的内容作为模板,然后将被处理后的数据(计算或数据库中的数据)嵌套在模板中,然后将嵌套了数据的 html文件的内容返回给请求者客户端,本篇就来详细的剖析模板处理的整个过程. 概述 上图是返回给用户一个html文件的整个流程,较

第二篇：SOUI源码的获取及编译

源代码的获取 SOUI的源码采用SVN管理. SVN:http://code.taobao.org/svn/soui2 这里主要包含两个目录:trunk 及 third-part. trunk目录保存SOUI项目的全部代码,third-part保存soui系统使用到的不方便放到trunk的第三方库,目前只有一个WKE(一个精简的webkit)的源代码. 一般情况下只获取trunk的代码就行. SOUI的编译 SOUI项目采用QT的qmake管理项目文件.qmake已经从QT中分离出来,不需要你的

第一篇：白话tornado源码之一个脚本引发的血案

本系列博文计划: 1.剖析基于Python的Web框架Tornado的源码 2.为Python开发一个完善的MVC框架 首先将带着大家一起来剖析基于python编写的Web框架 tornado ,本着易读易懂的目标来写这一系列,寄希让小白也能zeng明白其中的道理,与其说剖析还不如说是白话,因为本系列都会用通俗的语言去描述Web框架中的各个知识点. 一个脚本引发的一场“血案”.... 运行脚本并在浏览器上访问http://127.0.0.1:8080 + 注意:对于上述的demo来说,我们没有对

白话tornado源码之一个脚本引发的血案

系列博文计划: 1.剖析基于Python的Web框架Tornado的源码 2.为Python开发一个完善的MVC框架 首先将带着大家一起来剖析基于python编写的Web框架 tornado ,本着易读易懂的目标来写这一系列,寄希让小白也能zeng明白其中的道理,与其说剖析还不如说是白话,因为本系列都会用通俗的语言去描述Web框架中的各个知识点. 一个脚本引发的一场“血案”.... 运行脚本并在浏览器上访问http://127.0.0.1:8080 + 注意:对于上述的demo来说,我们没有对请

ExcelReport第二篇：ExcelReport源码解析

导航 目   录:基于NPOI的报表引擎--ExcelReport 上一篇:使用ExcelReport导出Excel 下一篇:扩展元素格式化器 概述 针对上一篇随笔收到的反馈,在展开对ExcelReport源码解析之前,我认为把编写该组件时的想法分享给大家是有必要的. 编写该组件时,思考如下: 1)要实现样式.格式与数据的彻底分离. 为什么要将样式.格式与数据分离呢?恩,你不妨想一想在生成报表时,那些是变的而那些又是不变的.我的结论是:变的是数据. 有了这个想法,很自然的想到用模板去承载不变的部

第四篇：白话tornado源码之脱光模板外衣的前戏

加班程序员最辛苦,来张图醒醒脑吧! ... ... ... 好了,醒醒吧,回归现实看代码了!! 执行字符串表示的函数,并为该函数提供全局变量 本篇的内容从题目中就可以看出来,就是为之后剖析tornado模板做准备,也是由于该知识点使用的巧妙,所有就单独用一篇来介绍了.废话不多说,直接上代码: #!usr/bin/env python #coding:utf-8 namespace = {'name':'wupeiqi','data':[18,73,84]} code = '''def hello

第四篇：白话tornado源码之褪去模板外衣的前戏

执行字符串表示的函数,并为该函数提供全局变量 本篇的内容从题目中就可以看出来,就是为之后剖析tornado模板做准备,也是由于该知识点使用的巧妙,所有就单独用一篇来介绍了.废话不多说,直接上代码: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #!usr/bin/env python #coding:utf-8   namespace = {'name':'wupeiqi','data':[18,73,84]}   code =  '''def hellocute():ret

“Tornado源码解析篇”导读索引

最近花了2周时间断断续续地阅读了 Tornado 的源码,写了“Tornado源码解析”这个系列专题.由于写得比较散,这里简单做一个索引与导读. 为什么要选择 Tornado 这个框架?先给大家讲一个小故事:赌王娱乐城 "[web.py inspired the] web framework we use at FriendFeed [and] the webapp framework that ships with App Engine..." — Brett Taylor, co-