python爬虫----(scrapy框架提高(1),自定义Request爬取)

最近看scrappy0.24官方文档看的正心烦的时候,意外发现中文翻译0.24文档,简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/



结合官方文档例子,简单整理一下:

import scrapy
from myproject.items import MyItem
class MySpider(scrapy.Spider):
    name = ‘myspider‘
    start_urls = (
        ‘http://example.com/page1‘,
        ‘http://example.com/page2‘,
        )

    def parse(self, response):
        # collect `item_urls`
        for item_url in item_urls:
            yield scrapy.Request(item_url, self.parse_item)

    def parse_item(self, response):
        item = MyItem()
        # populate `item` fields
        # and extract item_details_url
        yield scrapy.Request(item_details_url, self.parse_details, meta={‘item‘: item})

    def parse_details(self, response):
        item = response.meta[‘item‘]
        # populate more `item` fields
        return item

从Spider继承了一个爬虫类,唯一名称 name="myspider", 爬虫默认入口地址 start_urls = () ,元组或列表都可以。



从Spider源码中,可以看到:

# 代码片段
class Spider(object_ref):
    """Base class for scrapy spiders. All spiders must inherit from this
    class.
    """

    name = None

    def __init__(self, name=None, **kwargs):
        if name is not None:
            self.name = name
        elif not getattr(self, ‘name‘, None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
        if not hasattr(self, ‘start_urls‘):
            self.start_urls = []

在Spider初始化时,检查name是否为None,start_urls 是否存在。代码很简单
    继续向下看:

# 代码片段
    def start_requests(self):
        for url in self.start_urls:
            yield self.make_requests_from_url(url)

    def parse(self, response):
        raise NotImplementedError

到这里很容易看到, start_requests 方法,遍历 start_urls  中的url,并执行 Request请求

默认response处理方法入口,parse函数需要实现,也就是在继承类中重写parse方法。



再看,示例代码中。

# 第一个函数
    def parse(self, response):
        # collect `item_urls`
        # 可以理解为:网站的所有导航菜单的超链接集合
        for item_url in item_urls:
            yield scrapy.Request(item_url, self.parse_item)

为默认入口,也就是从父类Spider类中继承过来的(或者说是一个必须要实现的接口),但是需要实现。

在这个函数体中,根据 start_requests (默认为GET请求)返回的 Response,得到了一个 名字为‘item_urls’ 的url集合。

然后遍历并请求这些集合。

再看 Request 源码:

# 部分代码
class Request(object_ref):

    def __init__(self, url, callback=None, method=‘GET‘, headers=None, body=None, 
                 cookies=None, meta=None, encoding=‘utf-8‘, priority=0,
                 dont_filter=False, errback=None):

        self._encoding = encoding  # this one has to be set first
        self.method = str(method).upper()
        self._set_url(url)
        self._set_body(body)
        assert isinstance(priority, int), "Request priority not an integer: %r" % priority
        self.priority = priority

        assert callback or not errback, "Cannot use errback without a callback"
        self.callback = callback
        self.errback = errback

        self.cookies = cookies or {}
        self.headers = Headers(headers or {}, encoding=encoding)
        self.dont_filter = dont_filter

        self._meta = dict(meta) if meta else None

    @property
    def meta(self):
        if self._meta is None:
            self._meta = {}
        return self._meta

其中,比较常用的参数:

url: 就是需要请求,并进行下一步处理的url
callback: 指定该请求返回的Response,由那个函数来处理。
method: 一般不需要指定,使用默认GET方法请求即可
headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道
        Host: media.readthedocs.org
        User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0
        Accept: text/css,*/*;q=0.1
        Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
        Accept-Encoding: gzip, deflate
        Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/
        Cookie: _ga=GA1.2.1612165614.1415584110;
        Connection: keep-alive
        If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT
        Cache-Control: max-age=0
meta: 比较常用,在不同的请求之间传递数据使用的。字典dict型
        request_with_cookies = Request(url="http://www.example.com",
                                       cookies={‘currency‘: ‘USD‘, ‘country‘: ‘UY‘},
                                       meta={‘dont_merge_cookies‘: True})
encoding: 使用默认的 ‘utf-8‘ 就行。
dont_filter: indicates that this request should not be filtered by the scheduler. 
             This is used when you want to perform an identical request multiple times, 
             to ignore the duplicates filter. Use it with care, or you will get into crawling loops. 
             Default to False.
errback: 指定错误处理函数

不出意外的话,接下来就是 Response 的源码:

# 部分代码
class Response(object_ref):

    def __init__(self, url, status=200, headers=None, body=‘‘, flags=None, request=None):
        self.headers = Headers(headers or {})
        self.status = int(status)
        self._set_body(body)
        self._set_url(url)
        self.request = request
        self.flags = [] if flags is None else list(flags)

    @property
    def meta(self):
        try:
            return self.request.meta
        except AttributeError:
            raise AttributeError("Response.meta not available, this response "                 "is not tied to any request")

参数跟上面的类似。

A Response object represents an HTTP response, which is usually
downloaded (by the Downloader) and fed to the Spiders for processing.
可以使用:
scrapy shell http://xxxx.xxx.xx

>>> dir(response)

查看信息


在继续向下看:

# 第二个函数
    def parse_item(self, response):
        item = MyItem()
        # populate `item` fields
        # 相当于导航栏下面的列表页,此时可能还存在分页情况
        # and extract item_details_url
        yield scrapy.Request(item_details_url, self.parse_details, meta={‘item‘: item})

接收到第一个函数得到并遍历的所有url的请求响应Response。并在当前页面中查找了所有的详细实体的初略信息,以及单品详细的url地址。

此时需要继续向下请求,请求详细的实体的页面。

在这个函数中使用到了 item,也可以不使用。直接将信息(比如实体根据导航标签的大体分类),通过Request的meta属性,传递给下一个callback处理函数。



继续向下看:

# 第三个函数
    def parse_details(self, response):
        item = response.meta[‘item‘]
        # populate more `item` fields
        return item

此时,请求已经得到了实体的具体页面,也就是实体详细页。(比如,根据博客的文章列表点击进入了文章)。

这时需要接收一下,从上一个函数中传递过来的信息。

def parse_details(self, response):
    item = response.meta[‘item‘]
# 也可以使用如下方式,设置一个默认值
    item = response.meta.get(‘item‘, None)
# 当 ‘item‘ key 不存在 meta字典中时,返回None

然后在在本页中使用 xpath,css,re等来选择详细的字段,至于具体的选择,以后再说吧~~~本来想简单的写点,然后就这么多了 ... ...

最后将最终得到的 item 返回即可。这样就能在  ITEM_PIPELINES 中得到数据,并进行下一步的处理了~~~

时间: 2024-10-06 11:24:09

python爬虫----(scrapy框架提高(1),自定义Request爬取)的相关文章

python爬虫scrapy框架——人工识别登录知乎倒立文字验证码和数字英文验证码(2)

操作环境:python3 在上一文中python爬虫scrapy框架--人工识别登录知乎倒立文字验证码和数字英文验证码(1)我们已经介绍了用Requests库来登录知乎,本文如果看不懂可以先看之前的文章便于理解 本文将介绍如何用scrapy来登录知乎. 不多说,直接上代码: import scrapy import re import json class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains = ['www.zhi

(转)python爬虫----(scrapy框架提高(1),自定义Request爬取)

摘要 之前一直使用默认的parse入口,以及SgmlLinkExtractor自动抓取url.但是一般使用的时候都是需要自己写具体的url抓取函数的. python 爬虫 scrapy scrapy提高     最近看scrappy0.24官方文档看的正心烦的时候,意外发现中文翻译0.24文档,简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/     结合官方文档例子,简单整理一下: ? 1 2 3 4 5 6 7 8 9 10 11 1

Python 爬虫-Scrapy框架基本使用

2017-08-01  22:39:50 一.Scrapy爬虫的基本命令 Scrapy是为持续运行设计的专业爬虫框架,提供操作的Scrapy命令行. Scrapy命令行格式 Scrapy常用命令 采用命令行的原因 命令行(不是图形界面)更容易自动化,适合脚本控制本质上,Scrapy是给程序员用的,功能(而不是界面)更重要. 二.Scrapy爬虫的一个基本例子 演示HTML页面地址:http://python123.io/ws/demo.html 步骤一:建立一个Scrapy爬虫 选取一个文件夹,

Python爬虫——Scrapy框架安装

在编写python爬虫时,我们用requests和Selenium等库便可完成大多数的需求,但当数据量过大或者对爬取速度有一定要求时,使用框架来编写的优势也就得以体现.在框架帮助下,不仅程序架构会清晰许多,而且爬取效率也会增加,所以爬虫框架是编写爬虫的一种不错的选择. 对于python爬虫框架,目前较为热的是Scrapy,其是一个专门爬取web结构性数据的应用框架.Scrapy是一个强大的框架,所依赖的库也较多,比如有lxml,pyOpenSSL和Twisted等,这些库在不同的平台下要求也不一

python爬虫--scrapy框架

Scrapy 一 介绍 Scrapy简介 1.Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛 2.框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便 Scrapy架构图 Scrapy主要包括了以下组件: 1.引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 2.调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可

数据之路 - Python爬虫 - Scrapy框架

一.Scrapy框架入门 1.Scrapy框架介绍 Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,榄块之间的榈合程度低,可扩展性极强,可以灵活完成各种需求. Engine:引擎,处理整个系统的数据流处理.触发事务,是整个框架的核心. Item:项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象. Scheduler:调度器,接受引擎发过来的请求并将其加入队列中, 在引擎再次请求的时候将请求提供给引擎. Downloader:下载

python爬虫---scrapy框架爬取图片,scrapy手动发送请求,发送post请求,提升爬取效率,请求传参(meta),五大核心组件,中间件

# settings 配置 UA USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36' 一丶scrapy的图片数据爬取(流数据的爬取) ? scrapy中封装好了一个管道类(ImagesPipeline),基于该管道类可以实现图片资源的请求和持久化存储 编码流程: 爬虫文件中解析出图片的地址 将

Python爬虫Scrapy框架入门(2)

本文是跟着大神博客,尝试从网站上爬一堆东西,一堆你懂得的东西 附上原创链接: http://www.cnblogs.com/qiyeboy/p/5428240.html 基本思路是,查看网页元素,填写xpath表达式,获取信息.自动爬取策略是,找到翻页网页元素,获取新链接地址,执行翻页.网页分析部分不再赘述,原博讲的很好很清楚,很涨姿势 基于拿来主义,我们只需要知道怎么更改Scrapy框架就行了~ items.py: import scrapy class TestprojItem(scrapy

Python爬虫Scrapy框架入门(0)

想学习爬虫,又想了解python语言,有个python高手推荐我看看scrapy. scrapy是一个python爬虫框架,据说很灵活,网上介绍该框架的信息很多,此处不再赘述.专心记录我自己遇到的问题以及解决方案吧. 给几个链接吧,我是根据这几个东西来尝试学习的: scrapy中文文档(0.24版,我学习的时候scrapy已经1.1了,也许有些过时): http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/overview.html 大神的博客介绍:

python爬虫Scrapy框架之中间件

Downloader Middleware处理的过程主要在调度器发送requests请求的时候以及网页将response结果返回给spider的时候, 所以说下载中间件是结余Scrapy的request/response处理的钩子, 用于修改Scrapy request和response. 编写自己的下载器中间件 : 编写下载器中间件, 需要定义下一或者多个方法的python类 新建一个关于爬取httpbin.org网站的项目 scrapy startproject httpbintest cd