scrapy 修改URL爬取起始位置

import scrapy
from Autopjt.items import myItem
from scrapy.http import Request

class AutospdSpider(scrapy.Spider):
    name = "fulong_spider"
    start_urls = [‘http://category.dangdang.com/pg1-cid4007379.html‘]
    url2 = (‘http://dangdang.com‘,‘http://jd.com‘,‘http://tianmao.com‘,)

    def start_requests(self):
        for url in self.url2:
            yield self.make_requests_from_url(url)

    def parse(self, response):
        item = myItem()
        item[‘name‘] =response.xpath(‘/html/head/title/text()‘).extract()
        print(item[‘name‘])
需要重写start_requests方法
时间: 2024-11-09 18:00:20

scrapy 修改URL爬取起始位置的相关文章

scrapy爬虫之爬取汽车信息

scrapy爬虫还是很简单的,主要是三部分:spider,item,pipeline 其中后面两个也是通用套路,需要详细解析的也就是spider. 具体如下: 在网上找了几个汽车网站,后来敲定,以易车网作为爬取站点 原因在于,其数据源实在是太方便了. 看这个页面,左边按照品牌排序,搜索子品牌,再挨个查看信息即可 按照通常的思路,是需要手动解析左边这列表 找出每个品牌的链接页面 结果分析源码发现,网站直接通过js生成的导航栏,直接通过这个链接生成的json即可获得所有的信息 http://api.

Scrapy实战---Scrapy对接selenium爬取京东商城商品数据

本篇目标:我们以爬取京东商城商品数据为例,展示Scrapy框架对接selenium爬取京东商城商品数据. 背景: 京东商城页面为js动态加载页面,直接使用request请求,无法得到我们想要的商品数据,故需要借助于selenium模拟人的行为发起请求,输出源代码,然后解析源代码,得到我们想要的数据. 第一步:设置我们需要提取的字段,也就是在Scrapy框架中设置Item.py文件. class ProductItem(scrapy.Item): # define the fields for y

scrapy框架来爬取壁纸网站并将图片下载到本地文件中

首先需要确定要爬取的内容,所以第一步就应该是要确定要爬的字段: 首先去items中确定要爬的内容 class MeizhuoItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 图集的标题 title = scrapy.Field() # 图片的url,需要来进行图片的抓取 url = scrapy.Field() pass 在确定完要爬的字段之后,就是分析网站页面的请求

python网络爬虫之scrapy 调试以及爬取网页

Shell调试: 进入项目所在目录,scrapy shell "网址" 如下例中的: scrapy shell http://www.w3school.com.cn/xml/xml_syntax.asp 可以在如下终端界面调用过程代码如下所示: 相关的网页代码: 我们用scrapy来爬取一个具体的网站.以迅读网站为例. 如下是首页的内容,我想要得到文章列表以及对应的作者名称. 首先在items.py中定义title, author. 这里的Test1Item和Django中的modul

Scrapy系列之爬取豆瓣电影

每日一练,每日一博. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. 1.确定目标网站:豆瓣电影 http://movie.douban.com/top250 2.创建Scrapy项目: scrapy startproject doubanmovie 3.配置settings.py文件 BOT_NAME = 'doubanmovie' SPIDER_MODULES

scrapy定制爬虫-爬取javascript——乾颐堂

很多网站都使用javascript...网页内容由js动态生成,一些js事件触发的页面内容变化,链接打开.甚至有些网站在没有js的情况下根本不工作,取而代之返回你一条类似"请打开浏览器js"之类的内容. 对javascript的支持有四种解决方案:1,写代码模拟相关js逻辑.2,调用一个有界面的浏览器,类似各种广泛用于测试的,selenium这类.3,使用一个无界面的浏览器,各种基于webkit的,casperjs,phantomjs等等.4,结合一个js执行引擎,自己实现一个轻量级的

scrapy+selenium 爬取淘宝商城商品数据存入到mongo中

1.配置信息 # 设置mongo参数 MONGO_URI = 'localhost' MONGO_DB = 'taobao' # 设置搜索关键字 KEYWORDS=['小米手机','华为手机'] # 最大爬取页数 MAX_PAGE = 2 # 相应超时设置 SELENIUM_TIMEOUT = 20 ROBOTSTXT_OBEY = False #忽略 # 中间件 DOWNLOADER_MIDDLEWARES = { 'taobaoSpider.middlewares.SeleniumMiddl

Scrapy实战:爬取http://quotes.toscrape.com网站数据

需要学习的地方: 1.Scrapy框架流程梳理,各文件的用途等 2.在Scrapy框架中使用MongoDB数据库存储数据 3.提取下一页链接,回调自身函数再次获取数据 站点:http://quotes.toscrape.com 该站点网页结构比较简单,需要的数据都在div标签中 操作步骤: 1.创建项目 # scrapy startproject quotetutorial 此时目录结构如下: 2.生成爬虫文件 # cd quotetutorial# scrapy genspider quote

Scrapy爬虫Demo 爬取资讯分类

爬取新浪网导航页所有下所有大类.小类.小类里的子链接,以及子链接页面的新闻内容. 效果演示图: items.py import scrapy import sys reload(sys) sys.setdefaultencoding("utf-8") class SinaItem(scrapy.Item): # 大类的标题 和 url parentTitle = scrapy.Field() parentUrls = scrapy.Field() # 小类的标题 和 子url subT