基于scrapy源码实现的自定义微型异步爬虫框架

一、scrapy原理

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下

Scrapy主要包括了以下组件:

    • 引擎(Scrapy)
      用来处理整个系统的数据流处理, 触发事务(框架核心)
    • 调度器(Scheduler)
      用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
    • 下载器(Downloader)
      用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
    • 爬虫(Spiders)
      爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
    • 项目管道(Pipeline)
      负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
    • 下载器中间件(Downloader Middlewares)
      位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
    • 爬虫中间件(Spider Middlewares)
      介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。
    • 调度中间件(Scheduler Middewares)
      介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。

Scrapy运行流程大概如下:

  1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取
  2. 引擎把URL封装成一个请求(Request)传给下载器
  3. 下载器把资源下载下来,并封装成应答包(Response)
  4. 爬虫解析Response
  5. 解析出实体(Item),则交给实体管道进行进一步的处理
  6. 解析出的是链接(URL),则把URL交给调度器等待抓取

二、自定义scrapy框架

所用到的三个对象:
getpage:内封装socket对象,帮下载url的html页面,可自动回调
defer:内包装socket对象,不调用,所以不会自己回调,需手动终止,用于整个爬虫的任务终止
reactor:封装io多路复用,开启循环

通过DeferredList控制所有爬虫任务,结束时stop终止reactor的监听

运行流程大概如下:
1.crawl将spider中的start_requests中返回的的起始url生成器转化为迭代器,将请求添加到调度器。
2.通过reactor调用_next_request方法,即从调度器取出request对象并发送请求
3.页面下载完成,回调get_response_callback,调用用户spider中定义的parse方法,如果parse有yield request对象,将新请求添加到调度器。
如未达到最大并发数,可以再去调度器中获取Request。
4.当调度器的request对象没有了,即是爬虫任务结束,此时可关闭Deferred和reactor。

代码如下:

from twisted.internet import defer
from  twisted.internet import reactor
from twisted.web.client import getPage

class Request(object):
    def __init__(self, url, callback):
        self.url = url
        self.callback = callback

class HttpResponse(object):

    def __init__(self,content,request):
        self.content = content
        self.request = request
        self.url = request.url
        self.text = str(content,encoding=‘utf-8‘)

class ChoutiSpider(object):
    name = "chouti"

    def start_requests(self):
        start_urls = [‘http://dig.chouti.com‘]
        for url in start_urls:
            yield Request(url, callback=self.parse)

    def parse(self, response):
        # yield Request("http://cn.bing.com",callback=self.parse)
        print(response)

import queue

Q = queue.Queue()

class Engine(object):
    def __init__(self):
        self._close = None
        self.max = 5
        self.crawling = []

    def get_response_callback(self,content,request):
        self.crawling.remove(request)
        rep = HttpResponse(content, request)
        result = request.callback(rep) #调用parse方法   如果parse中有yield  则result是一个生成器
        import types
        if isinstance(result, types.GeneratorType):
            for req in result:
                Q.put(req)

    def _next_request(self):
        #取request对象,并发送请求
        if Q.qsize() == 0 and len(self.crawling) == 0:
            self._close.callback(None)
            return

        if len(self.crawling) >= self.max:
            return

        while len(self.crawling) < self.max:
            try:
                req = Q.get(block=False)
                self.crawling.append(req)
                d = getPage(req.url.encode("utf-8"))
                # 页面下载完成,get_response_callback,调用用户spider中定义的parse方法,并且将新请求添加到调度器
                d.addCallback(self.get_response_callback, req)
                # 未达到最大并发数,可以再去调度器中获取Request
                d.addCallback(lambda _: reactor.callLater(0, self._next_request))
            except Exception as e:
                return

    @defer.inlineCallbacks
    def crawl(self, spider):
        start_requests = iter(spider.start_requests())
        #将请求添加到调度器
        while True:
            try:
                request = next(start_requests)
                Q.put(request)
            except StopIteration as e:
                break

            # 去调度器中取request,并发送请求
            # self._next_request()
        reactor.callLater(0, self._next_request)

        self._close = defer.Deferred()
        yield self._close

spider = ChoutiSpider()
_active = set()
engine = Engine()
d = engine.crawl(spider)

_active.add(d)
dd = defer.DeferredList(_active)
dd.addBoth(lambda a:reactor.stop())

reactor.run()

  

原文地址:https://www.cnblogs.com/dominik/p/10011156.html

时间: 2024-11-09 10:30:46

基于scrapy源码实现的自定义微型异步爬虫框架的相关文章

Scrapy源码剖析之自定义Scrapy框架

from twisted.internet import reactor # 事件循环(终止条件,所有的socket都已经移除) from twisted.web.client import getPage # socket对象(如果下载完成,自动从时间循环中移除...) from twisted.internet import defer # defer.Deferred 特殊的socket对象 (不会发请求,手动移除) from queue import Queue class Reques

Volley源码分析之自定义MultiPartRequest(文件上传)

本篇内容目录: 使用HttpURLConnection上传文件到服务器案例 自定义支持文件上传的MultiPartRequest Web后台接收文件的部分代码 先来看下HttpURLConnection来文件上传的案例: 1.传送数据到服务器,必定是使用POST请求: //设置请求方式为post httpURLConnection.setDoOutput(true); httpURLConnection.setRequestMethod("POST"); 2.上传文件的HTTP请求中的

MVC系列——MVC源码学习:打造自己的MVC框架(四:自定义视图)

前言:通过之前的三篇介绍,我们基本上完成了从请求发出到路由匹配.再到控制器的激活,再到Action的执行这些个过程.今天还是趁热打铁,将我们的View也来完善下,也让整个系列相对完整,博主不希望烂尾.对于这个系列,通过学习源码,博主也学到了很多东西,在此还是把博主知道的先发出来,供大家参考. 本文原创地址:http://www.cnblogs.com/landeanfen/p/6019719.html MVC源码学习系列文章目录: MVC系列——MVC源码学习:打造自己的MVC框架(一) MVC

基于LinkedBlockingQueue源码自我实现线程安全队列

LinkedBlockingQueue是一个阻塞的.线程安全的.由链表实现的双向队列,和ArrayBlockingQueue一样,是最普通也是最常用的阻塞队列.现基于LinkedBlockingQueue源码自我实现一个单向的.简化版的LinkedBlockingQueue. package com.lzq.newInterview; import java.util.concurrent.locks.Condition; import java.util.concurrent.locks.Re

LambdaMART简介——基于Ranklib源码(一 lambda计算)

学习Machine Learning,阅读文献,看各种数学公式的推导,其实是一件很枯燥的事情.有的时候即使理解了数学推导过程,也仍然会一知半解,离自己写程序实现,似乎还有一道鸿沟.所幸的是,现在很多主流的Machine Learning方法,网上都有open source的实现,进一步的阅读这些源码,多做一些实验,有助于深入的理解方法. Ranklib就是一套优秀的Learning to Rank领域的开源实现,其主页在:http://people.cs.umass.edu/~vdang/ran

asp.net mvc源码分析-DefaultModelBinder 自定义的普通数据类型的绑定和验证

原文:asp.net mvc源码分析-DefaultModelBinder 自定义的普通数据类型的绑定和验证 在前面的文章中我们曾经涉及到ControllerActionInvoker类GetParameterValue方法中有这么一句代码: ModelBindingContext bindingContext = new ModelBindingContext() { FallbackToEmptyPrefix = (parameterDescriptor.BindingInfo.Prefix

基于 cm-11 源码编译模拟器

以前对于cm的源码编译都是基于固定机型的,有的时候需要使用模拟器,这边就记录一下使用cm的源码来如何编译android 模拟器,不过在做这件事情前你最好评估一下自己的机器配置.这里给出的推荐的配置是,i5以上的cpu,硬盘要固态硬盘,否则模拟器的启动和加载的速度几乎不可以忍受. android源码编译完成以后生成的目录都是在源码目录下的out文件夹下 out/target 表示生成的是目标机器一般是手机上的各种程序,比如rom等 out/host   表示生成的是对于宿主机器上的各种工具,比如a

Scrapy源码 Request对象

Scrapy源码 Request对象 """This module implements the Request class which is used to represent HTTPrequests in Scrapy. See documentation in docs/topics/request-response.rst"""import sixfrom w3lib.url import safe_url_string from sc

Scrapy源码 Response对象

Scrapy源码 Response对象 """This module implements the Response class which is used to represent HTTPresponses in Scrapy. See documentation in docs/topics/request-response.rst"""from six.moves.urllib.parse import urljoin from scra