golang的http分析

首先,要认识一个贯穿始终的接口http.Handler

type Handler interface {
    ServeHTTP(ResponseWriter, *Request)
}     

 

其中,两个参数,一个是表示响应的接口,另一个表示请求。具体方法先忽略:

type ResponseWriter interface {
}

使用时,这个函数指这定地址和对应的handler

func ListenAndServe(addr string, handler Handler)

 再看下http包内的一个重要函数,Handle,可见,传入的是一个监听的http path,第二个参数是上述的handler.

func Handle(pattern string, handler Handler)

看一下如何使用的:

使用接口形式的Handle + ListenAndServe

type ImpHandler struct {}

func (h ImpHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {  // 实现方法
    w.Write([]byte("haha"))
}

func main() {
    http.Handle("/", ImpHandler{})
    http.ListenAndServe(":12345", nil )
}

这里,http消息来了应该是在底层直接调用对应的ServeHTTP。具体是怎么调到的,一层层来看。

首先看下http.Handle做了什么。

func Handle(pattern string, handler Handler) { DefaultServeMux.Handle(pattern, handler) }

可见,这个Handle函数底层封装了一个对象,其实是对此对象DefaultServeMux进行调用。

这类型如下:

type ServeMux struct {
    mu    sync.RWMutex
    m     map[string]muxEntry
    hosts bool // whether any patterns contain hostnames
}

type muxEntry struct {
    explicit bool
    h        Handler
    pattern  string
}

可见,http的path和对应的处理handler的关系以muxEntry维护在这个默认的hash表m中。http.Handle传入的两个参数以hash形式保存在内部的全局变量DefaultServeMux中。

到此,只是在http业务层面上将相关信息保存下,最后在http请求来时的ListenAndServe中,才进行连接的处理。

func ListenAndServe(addr string, handler Handler) error {
    server := &Server{Addr: addr, Handler: handler}
    return server.ListenAndServe()
}

同样,ListenAndServe本身只是一个对外接口,内部也有相应对象Server进行封装。前面说过这个方法是处理连接层面的事,那么这个server就是tcp server的一个抽象

另一方面,这里又传入了一个handler,这是干吗用的?这里传的是nil,后面再看。

func (srv *Server) ListenAndServe() error {
    addr := srv.Addr
    if addr == "" {
        addr = ":http"
    }
    ln, err := net.Listen("tcp", addr)     // 创建监听了
    if err != nil {
        return err
    }
    return srv.Serve(tcpKeepAliveListener{ln.(*net.TCPListener)})
}

可见,这里直接就监听TCP连接了。其中的ln是个Listener接口,代码这样写比较漂亮:

// Multiple goroutines may invoke methods on a Listener simultaneously.
type Listener interface {
    // Accept waits for and returns the next connection to the listener.
    Accept() (Conn, error)

    // Close closes the listener.
    // Any blocked Accept operations will be unblocked and return errors.
    Close() error

    // Addr returns the listener‘s network address.
    Addr() Addr
}

// 这里实现得比较好,覆盖了一个Accept方法,在其中加入了keepAlived的选项。其他两个方法仍旧使用原listener的
type tcpKeepAliveListener struct {
    *net.TCPListener             // 外层可直接调它的方法不需要指定成员
}

func (ln tcpKeepAliveListener) Accept() (c net.Conn, err error) {
    tc, err := ln.AcceptTCP()
    if err != nil {
        return
    }
    tc.SetKeepAlive(true)
    tc.SetKeepAlivePeriod(3 * time.Minute)
    return tc, nil
}

继续看Server的连接监听处理:

func (srv *Server) Serve(l net.Listener) error {
    defer l.Close()
    if fn := testHookServerServe; fn != nil {
        fn(srv, l)
    }
    var tempDelay time.Duration // how long to sleep on accept failure

    if err := srv.setupHTTP2_Serve(); err != nil {
        return err
    }

  ////////////////skip
    for {
        rw, e := l.Accept()               // 取出一个连接,对应accept
        if e != nil {
            if ne, ok := e.(net.Error); ok && ne.Temporary() {
                if tempDelay == 0 {
                    tempDelay = 5 * time.Millisecond
                } else {
                    tempDelay *= 2
                }
                if max := 1 * time.Second; tempDelay > max {
                    tempDelay = max
                }
                srv.logf("http: Accept error: %v; retrying in %v", e, tempDelay)
                time.Sleep(tempDelay)
                continue
            }
            return e
        }
        tempDelay = 0
        c := srv.newConn(rw)
        c.setState(c.rwc, StateNew) // before Serve can return
        go c.serve(ctx)
    }
}

可见,调用Listener的Accept()后,形成一个抽象的连接,再启单独协程去处理它。

协程内读出对应的数据后,会进行如下调用,此调用将http的业务与底层的tcp连接结合了起来:

        serverHandler{c.server}.ServeHTTP(w, w.req)

看下面,最终回调回去了。

// serverHandler delegates to either the server‘s Handler or
// DefaultServeMux and also handles "OPTIONS *" requests.
type serverHandler struct {
    srv *Server
}

func (sh serverHandler) ServeHTTP(rw ResponseWriter, req *Request) {
    handler := sh.srv.Handler
    if handler == nil {
        handler = DefaultServeMux
    }
    if req.RequestURI == "*" && req.Method == "OPTIONS" {
        handler = globalOptionsHandler{}
    }
    handler.ServeHTTP(rw, req)
}

// 最终回到最开始注册Handle的地方,进行ServeHTTP的调用
func (mux *ServeMux) ServeHTTP(w ResponseWriter, r *Request) {
          if r.RequestURI == "*" {
                  if r.ProtoAtLeast(1, 1) {
                          w.Header().Set("Connection", "close")
                  }
                  w.WriteHeader(StatusBadRequest)
                  return
          }
          h, _ := mux.Handler(r)
          h.ServeHTTP(w, r)
}

最终调用到了上文的DefaultServeMux中来。

以上是http一的基础的结构,下面是一些衍生的用法。

使用HandleFunc + ListenAndServe

func main() {
    fmt.Println("Hello.")
    http.HandleFunc("/", func (w http.ResponseWriter, r *http.Request) {
        w.Write([]byte("haha2"))
    })

    http.ListenAndServe(":12346", nil )
}

其中,func可使用闭包也可不用。

看下面代码:

// HandleFunc registers the handler function for the given pattern.
func (mux *ServeMux) HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
    mux.Handle(pattern, HandlerFunc(handler))
}

// HandleFunc registers the handler function for the given pattern
// in the DefaultServeMux.
// The documentation for ServeMux explains how patterns are matched.
func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
    DefaultServeMux.HandleFunc(pattern, handler)
}

可见,HandlerFunc只是对Handler的封装,下面同样是通过DefaultServeMux来进行。

这里的重点是以下的写法,用一个函数来实现某个接口,虽然这接口底层仍然是调用函数本身,这样就可以直接用函数和之前的接口匹配:

// The HandlerFunc type is an adapter to allow the use of
// ordinary functions as HTTP handlers. If f is a function
// with the appropriate signature, HandlerFunc(f) is a
// Handler that calls f.
type HandlerFunc func(ResponseWriter, *Request)

// ServeHTTP calls f(w, r).
func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) {
    f(w, r)
}

实际上的效果是,明明只写了一个函数func(ResponseWriter, *Request),但其他代码却可以通过golang的隐式接口方式通过另一个你不知道的函数调用你!这里,不知道的函数就是ServeHTTP

Handle掌握了,这里的HandleFunc就容易了。

更进一步,ServeMux也是可以使用自定义的值。这时,传入http.ListenAndServe的第二个参数就是这个mux。

func NewServeMux() *ServeMux { return new(ServeMux) }

这个ServeMux,本身又是隐式实现了Handler。

再次回到这里,可见最终是调到了ServerMux这里:

func (sh serverHandler) ServeHTTP(rw ResponseWriter, req *Request) {
    handler := sh.srv.Handler
    if handler == nil {
        handler = DefaultServeMux
    }
    if req.RequestURI == "*" && req.Method == "OPTIONS" {
        handler = globalOptionsHandler{}
    }
    handler.ServeHTTP(rw, req)
}

总结下:

http包给外面提供了三个层次的接口,每个层次暴露的东西不一样:

第一层: 只需要关心处理逻辑,直接以HandleFunc实现;

第二层: 以Handle实现,这一层,对外额外暴露了一个Handler接口,需要用户关注一个ServeHTTP的函数;底层仍然是通过DefaultMux来实现。

第三层: 对外暴露了一个ServeMux,处理请求的方法注册到这个ServeMux上,将ServeMux传入。

时间: 2024-10-14 19:03:57

golang的http分析的相关文章

golang slice性能分析

golang在gc这块的做得比较弱,频繁地申请和释放内存会消耗很多的资源.另外slice使用数组实现,有一个容量和长度的问题,当slice的容量用完再继续添加元素时需要扩容,而这个扩容会把申请新的空间,把老的内容复制到新的空间,这是一个非常耗时的操作.有两种方式可以减少这个问题带来的性能开销: 在slice初始化的时候设置capacity(但更多的时候我们可能并不知道capacity的大小) 复用slice 下面就针对这两个优化设计了如下的benchmark,代码在: https://githu

golang pprof 性能分析工具

性能优化是个永恒的话题,而很多时候我们在作性能优化的时候,往往基于代码上面的直觉,把所有能想到的优化都优化了一遍,不错过任何小的优化点,结果整个代码的逻辑变得极其复杂,而性能上面并没有太大的提升.事实上,性能问题往往集中在某些小点,有时候很小的改动就能有巨大的提升,所以问题的关键是是怎么去找出这些优化点,幸运的是 golang 在设计的时候就考虑了这个问题,原生提供了性能分析的工具,可以很方便地帮我们找到性能瓶颈 pprof 简介 golang 的性能分析库在 runtime/pprof 里,主

golang https server分析

https: HTTPS是http安全版本的实现,在http与tcp之间加了一层ssl/tls安全传输协议 为了防止请求被监听.篡改.冒充,在tls实现过程中引入了数字证书机制,数字证书由第三方权威机构提供保证. 数字证书原理是采用非对称加密生成一对公钥.私钥,服务端保存私钥,下发公钥给客户端,由于非对称加密计算量比较大, 所以https通信过程中,通过客户端与服务端的握手交互产生三次随机码,从而生成一个相对安全的对称加密密码,密码通过非对称加密下发给客户端,从而完成加密通信 https本质上还

基于Golang的逃逸分析(Language Mechanics On Escape Analysis)

何为逃逸分析 在编译程序优化理论中,逃逸分析是一种确定指针动态范围的方法——分析在程序的哪些地方可以访问到指针.它涉及到指针分析和形状分析. 当一个变量(或对象)在子程序中被分配时,一个指向变量的指针可能逃逸到其它执行线程中,或是返回到调用者子程序.如果使用尾递归优化(通常在函数编程语言中是需要的),对象也可以看作逃逸到被调用的子程序中.如果一种语言支持第一类型的延续性在Scheme和Standard ML of New Jersey中同样如此),部分调用栈也可能发生逃逸. 如果一个子程序分配一

Golang HTTP Server 分析(1) -- Overview

Golang 精简直观的设计,让Web 开发和写 print ”Hello World”毫无二致.同时也让我有机会一窥 HTTP Server 的设计与实现.至此,以前Tomcat,  Apache 等web 容器给我的神秘感一扫而光. 1. 基础知识 HTTP Server的目的即是实现HTTP Protocol, 下面我们简要介绍一下HTTP Protocol. HTTP报文由一行行的简单字符串组成.HTTP报文都是纯文本,是Web信息传递的载体.下面由一个简单场景来表示HTTP报文格式.

golang中container/heap包源码分析

学习golang难免需要分析源码包中一些实现,下面就来说说container/heap包的源码 heap的实现使用到了小根堆,下面先对堆做个简单说明 1. 堆概念 堆是一种经过排序的完全二叉树,其中任一非终端节点的数据值均不大于(或不小于)其左孩子和右孩子节点的值. 最大堆和最小堆是二叉堆的两种形式. 最大堆:根结点的键值是所有堆结点键值中最大者. 最小堆:根结点的键值是所有堆结点键值中最小者. 2. heap 树的最小元素在根部,为index 0. heap包对任意实现了heap接口的类型提供

golang的goroutine调度机制

golang的goroutine调度机制 2016年09月26日 14:28:08 阅读数:5664 一直对goroutine的调度机制很好奇,最近在看雨痕的golang源码分析,(基于go1.4) 感觉豁然开朗,受益匪浅: 去繁就简,再加上自己的一些理解,整理了一下 ~~ 调度器 主要基于三个基本对象上,G,M,P(定义在源码的src/runtime/runtime.h文件中) 1.     G代表一个goroutine对象,每次go调用的时候,都会创建一个G对象 2.     M代表一个线程

第一章.java&golang的区别之:闭包

对于golang一直存有觊觎之心,但一直苦于没有下定决心去学习研究,最近开始接触golang.就我个人来说,学习golang的原动力是因为想要站在java语言之外来审视java和其它语言的区别,再就是想瞻仰一下如此NB的语言.年前就想在2019年做一件事情,希望能从各个细节处做一次java和golang的对比分析,不评判语言的优劣,只想用简单的语言和可以随时执行的代码来表达出两者的区别和底层涉及到的原理.今天是情人节,馒头妈妈在加班,送给自己一件贴心的礼物,写下第一篇对比文章:java&gola

仿微信抢红包 Golang实战多版本抢红包系统

第1章 课程导学[征途*扬帆起航]没有梦想,何必远方?本小结将站在更高的起点,从项目演示开始 ,然后到本课程适用人群定位,再到通过思维导图介绍课程内容体系,接着到分析收获,最后到学习本课程的一些前置要求,为你的学习征途扬帆起航做保证. 第2章 红包业务概述&系统建模[磨刀不误砍柴工]或许大家体验过抢红包,但如何对现实世界的业务场景进行抽象,形成软件系统的需求,进行建模与技术选型,这是有一套“方法论”的.因此,本章分四点:红包系统业务知识:选用的技术框架:业务建模与数据库建模:红包算法&库存