scrapy增量式爬虫

命令:

1.创建scrapy工程:scrapy startproject projectName
2.创建爬虫文件:scrapy genspider -t crawl spiderName www.xxx.com
  指令多了 "-t crawl",表示创建的爬虫文件是基于CrawlSpider这个类的,而不再是Spider这个基类。
3.运行 scrapy crawl spider2

spider.py

用hashlib来制作哈希值来放在Redis中, 可以减少放在Redis中的为了校验是否存在的内容

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from scrapy2.items import Scrapy2Item
import hashlib

class Spider2Spider(CrawlSpider):
    name = ‘spider2‘
    # allowed_domains = [‘www.xxx.com‘]
    start_urls = [‘https://www.qiushibaike.com/text/‘]

    rules = (
        Rule(LinkExtractor(allow=r‘/text/page/\d+/‘), callback=‘parse_item‘, follow=True),
    )

    def parse_item(self, response):
        div_list = response.xpath(‘//div[@class="article block untagged mb15 typs_hot"]‘)
        conn = Redis(host=‘127.0.0.1‘,port=6379)
        for div in div_list:
            item = Scrapy2Item()
            item[‘content‘] = div.xpath(‘.//div[@class="content"]/span//text()‘).extract()
            item[‘content‘] = ‘‘.join(item[‘content‘])
            item[‘author‘] = div.xpath(‘./div/a[2]/h2/text() | ./div[1]/span[2]/h2/text()‘).extract_first()
            source = item[‘author‘]+item[‘content‘]
            hashValue = hashlib.sha256(source.encode()).hexdigest()

            ex = conn.sadd(‘qiubai_hash‘, hashValue)
            if ex == 1:
                yield item
            else:
                print(‘已爬取‘)

spider.py

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from scrapy2.items import Scrapy2Item

class Spider2Spider(CrawlSpider):
    name = ‘spider2‘
    # allowed_domains = [‘www.xxx.com‘]
    start_urls = [‘https://www.4567tv.tv/index.php/vod/show/id/7.html‘]

    rules = (
        Rule(LinkExtractor(allow=r‘/index.php/vod/show/id/7/page/\d+\.html‘), callback=‘parse_item‘, follow=True),
    )

    def parse_item(self, response):
        conn = Redis(host=‘127.0.0.1‘, port=6379)
        detail_url_list = [‘https://www.4567tv.tv‘ + el for el in  response.xpath(
            ‘//li[@class="col-md-6 col-sm-4 col-xs-3"]/div/a/@href‘).extract()]
        for url in detail_url_list:
            # ex == 1:set中没有存储url
            ex = conn.sadd(‘movies_url‘,url)
            if ex == 1:
                yield scrapy.Request(url=url, callback=self.parse_detail)
            else:
                print(‘已爬取过‘)

    def parse_detail(self,response):
        item = Scrapy2Item()
        item[‘name‘] = response.xpath(‘/html/body/div[1]/div/div/div/div[2]/h1/text()‘).extract_first()
        item[‘actor‘] = response.xpath(‘/html/body/div[1]/div/div/div/div[2]/p[3]/a/text()‘).extract_first()

        yield item

settings.py

BOT_NAME = ‘scrapy2‘

SPIDER_MODULES = [‘scrapy2.spiders‘]
NEWSPIDER_MODULE = ‘scrapy2.spiders‘

USER_AGENT = ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36‘

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = ‘scrapy2 (+http://www.yourdomain.com)‘

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 32

ITEM_PIPELINES = {
    ‘scrapy2.pipelines.Scrapy2Pipeline‘: 300
}

pipelines.py

from redis import Redis
class Scrapy2Pipeline(object):
    def __init__(self):
        self.conn = None
    def open_spider(self, spider):
        self.conn = Redis(host=‘127.0.0.1‘, port=6379)

    def process_item(self, item, spider):
        dic = {
            ‘name‘:item[‘name‘],
            ‘actor‘:item[‘actor‘]
        }
        self.conn.lpush(‘qiubaiData‘,dic)
        print(‘爬取到一条数据,正在入库......‘)
        return item

原文地址:https://www.cnblogs.com/NachoLau/p/10480597.html

时间: 2024-10-07 02:20:51

scrapy增量式爬虫的相关文章

增量式爬虫

目录 增量式爬虫 增量式爬虫 案例: 爬取4567tv网站中所有的电影详情数据 需求:爬取糗事百科中的段子和作者数据. 增量式爬虫 当我们在浏览相关网页的时候会发现,某些网站定时会在原有网页数据的基础上更新一批数据,例如某电影网站会实时更新一批最近热门的电影.小说网站会根据作者创作的进度实时更新最新的章节数据等等.那么,类似的情景,当我们在爬虫的过程中遇到时,我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢? 增量式爬虫 概念:通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网

增量式爬虫案列

增量式爬虫 引言: 当我们在浏览相关网页的时候会发现,某些网站定时会在原有网页数据的基础上更新一批数据,例如某电影网站会实时更新一批最近热门的电影.小说网站会根据作者创作的进度实时更新最新的章节数据等等.那么,类似的情景,当我们在爬虫的过程中遇到时,我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢? 一.增量式爬虫 概念:通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网站更新出的新数据. 如何进行增量式的爬取工作: 在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判

爬虫篇 ---增量式爬虫

What is 增量式爬虫? 用来 监测 网站数据更新的情况,只会爬取网站中更新出来的新数据 增量式爬虫的核心 去重,因为你爬取到的数据是不可以出现重复的 怎么进行增量式爬取呢? 在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判断这部分内容是不是之前爬取过 写入存储到 redis 时判断内容是不是已经在介质中存在 #总结分析 对比三种方式增量爬取的核心是去重, 至于去重的操作在哪个步骤起作用,只能说各有利弊.在我看来,前两种思路需要根据实际情况取一个(也可能都用). #第一种思路适合

增量式 爬虫

# 增量式 爬虫 概念: 监测网站的数据更新的情况,只爬取网站更新的数据. 核心: 去重 实现 Redis  set集合也行 --  如何实现redis去重? -- # 爬取电影站的更新数据 url去重 https://www.4567tv.tv/frim/index1.html# 下面代码以 http://www.922dyy.com/dianying/dongzuopian/ 为例 作为起始页 # spider.py 爬虫文件 # -*- coding: utf-8 -*- import s

爬虫 + 数据分析 - 7 CrawlSpider(全站爬取), 分布式, 增量式爬虫

一.全站爬取(CrawlSpider) 1.基本概念 作用:就是用于进行全站数据的爬取 - CrawlSpider就是Spider的一个子类 - 如何新建一个基于CrawlSpider的爬虫文件 - scrapy genspider -t crawl xxx www.xxx.com - LinkExtractor连接提取器:根据指定规则(正则)进行连接的提取 - Rule规则解析器:将链接提取器提取到的链接进行请求发送,然后对获取的页面数据进行 指定规则(callback)的解析 - 一个链接提

爬虫学习18.增量式爬虫

爬虫学习18.增量式爬虫 增量式爬虫 引言: 当我们在浏览相关网页的时候会发现,某些网站定时会在原有网页数据的基础上更新一批数据,例如某电影网站会实时更新一批最近热门的电影.小说网站会根据作者创作的进度实时更新最新的章节数据等等.那么,类似的情景,当我们在爬虫的过程中遇到时,我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢? 一.增量式爬虫 概念:通过爬虫程序监测某网站数据更新的情况,以便可以爬取到该网站更新出的新数据. 如何进行增量式的爬取工作: 在发送请求之前判断这个URL是不是

爬虫07 /scrapy图片爬取、中间件、selenium在scrapy中的应用、CrawlSpider、分布式、增量式

目录 爬虫07 /scrapy图片爬取.中间件.selenium在scrapy中的应用.CrawlSpider.分布式.增量式 1. scrapy图片的爬取/基于管道类实现 2. 中间件的使用 3. selenium在scrapy中的应用 4. CrawlSpider 5. 分布式 5. 增量式 爬虫07 /scrapy图片爬取.中间件.selenium在scrapy中的应用.CrawlSpider.分布式.增量式 1. scrapy图片的爬取/基于管道类实现 爬取流程: 爬虫类中将解析到的图片

python爬虫---CrawlSpider实现的全站数据的爬取,分布式,增量式,所有的反爬机制

CrawlSpider实现的全站数据的爬取 新建一个工程 cd 工程 创建爬虫文件:scrapy genspider -t crawl spiderName www.xxx.com 连接提取器LinkExtractor 可以根据指定的规则对指定的连接进行提取 提取的规则就是构造方法中的allow('正则表达式')参数决定 规则解析器Rule 可以将将连接提取器提取到的连接进行请求发送,可以根据指定的规则(callback)对请求到的数据进行解析 follow=True:将连接提取器 继续作用到

Vivado增量式编译

Vivado 中的增量设计会重新利用已有的布局布线数据来缩短运行时间,并生成可预测的结果.当设计有 95% 以上的相似度时,增量布局布线的运行时间会比一般布局布线平均缩短2倍.若相似度低于80%,则使用增量布局布线只有很小的优势或者基本没有优势. 当设计进行到后期,每次运行改动很小,在开始后端实现前读入的设计网表具有较高相似度的情况下,推荐使用 Vivado 的增量布局布线功能.运行增量流程的前提是有一个已经完成布局布线的参考设计检查点(Design Checkpoint, DCP)文件,并以此