使用twisted.web实现代理服务器

简单的实现谷歌的代理：

架构就是下面这么简单。

=================

my server outside GFW  |    <----------------------> your browser  visit my server at port 8080

=================

代码如下：

#coding=utf-8
from twisted.web import resource, server
from twisted.internet import reactor,endpoints
from twisted.python import log
import urllib2
import urllib
import sys
log.startLogging(sys.stdout)

class router(resource.Resource):
    def getChild(self, path, request):
        url = r‘https://www.google.com‘
        if path=="":
            return Index(url)
        else:
            return Index(url+ request.uri)

class Index(resource.Resource):
    def __init__(self, url):
        self.url = url

    def render_GET(self, request):
        req = urllib2.Request(self.url)
        res = urllib2.urlopen(req)
        return res.read()

rsc = router()
f = server.Site(rsc)
endpoints.serverFromString(reactor, ‘tcp:8001‘).listen(f)
reactor.run()

使用上面代码有一个问题，谷歌对于被爬是不爽的。因此需要伪装下，加上一个headers参数给request请求。

headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6‘}
req = urllib2.Request(self.url, headers=headers)

这样就解决了403问题。那么接下来只要变成一个系统后台任务就可以了。