scrapy项目4：爬取当当网中机器学习的数据及价格（CrawlSpider类）

scrapy项目3中已经对网页规律作出解析，这里用crawlspider类对其内容进行爬取；

项目结构与项目3中相同如下图，唯一不同的为book.py文件

crawlspider类的爬虫文件book的生成命令为：scrapy genspider -t crawl book ‘category.dangdang.com‘

book.py代码如下：

# -*- coding: utf-8 -*-
import scrapy
# 创建用于提取响应中连接的对象
from scrapy.linkextractors import LinkExtractor
# Rule 用于发送从 LinkExtractor 中提取的连接
from scrapy.spiders import CrawlSpider, Rule
from dangdang05.items import Dangdang05Item

class BookSpider(CrawlSpider):
    name = ‘book‘
    allowed_domains = [‘category.dangdang.com‘]
    start_urls = [‘http://category.dangdang.com/cp01.54.12.00.00.00.html‘]
    # 提取连接信息，并将提取到的向提取到的url发送请求，调用回调函数处理请求
    # 注意follow表示是否继续对response中的连接进行提取，True表示提取，False表示不再提取
    # 当未指定回调函数时，follow的默认值为True,当指定回调函数时follow的默认值为False
    rules = [Rule(LinkExtractor(allow=r‘/pg\d+-cp01.54.12.00.00.00.html‘),callback=‘parse_item‘,follow=True)]

    def parse_item(self, response):
        # 实例化items中的类
        item = Dangdang05Item()
        # 网页解析第一步，返回selector对对象
        book_list = response.xpath(‘//ul[@class="bigimg"]/li‘)

        for book_info in book_list:
            # 书籍名称
            item[‘name‘] = book_info.xpath(‘./p[@class="name"]/a/@title‘).extract()[0]
            # 书籍价格
            item[‘price‘] = book_info.xpath(‘./p[@class="price"]/span[1]/text()‘).extract()[0]
            yield item

原文地址：https://www.cnblogs.com/houzichiguodong/p/9129376.html