Scrapy——2 Scrapy shell

Scrapy——2      Scrapy shell



什么是Scrapy shell

Scrapy shell终端是一个交互终端,我们可以在未启动spider的情况下尝试调试代码,也可以用来测试Xpath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取数据

Scrapy内置选择器:

  1. xpah():传入xpath表达式,返回该方法所对应的所有节点的selector list列表
  2. extract():序列化该节点为Unicode字符串并返回list  /  extracrt_first()
  3. css():传入CSS表达式,返回该表达式所对用的所有的节点的selector list 列表,语法同BeautifulSoup4
  4. re():根据传入的正则表达式对数据进行提取,返回Unicode字符串list列表


什么是sipder
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方

实战

当我们爬取腾讯的招聘信息时,假设我们需要的数据是,岗位名称,链接,类别,工作地点,发布时间。

我们需要匹配多个数据,可以先用scrapy shell url 先尝试解析,命令回车,会进入python的交互模式,如果安装了ipython,

会优先进入ipython的环境。

然后responde已经默认请求完成。直接response.xpath(‘//**‘)就可以解析数据,非常方便

在项目开发中非常实用

原文地址:https://www.cnblogs.com/pywjh/p/9939740.html

时间: 2024-11-05 16:09:08

Scrapy——2 Scrapy shell的相关文章

python爬虫scrapy之scrapy终端(Scrapy shell)

Scrapy终端是一个交互终端,供您在未启动spider的情况下尝试及调试您的爬取代码. 其本意是用来测试提取数据的代码,不过您可以将其作为正常的Python终端,在上面测试任何的Python代码. 该终端是用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据. 在编写您的spider时,该终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行spider的麻烦. 一旦熟悉了Scrapy终端后,您会发现其在开发和调试spider时发挥的巨大作用. 如果您安装了 

scrapy框架【shell使用】

scrapy shell scrapy shell是一个交互式shell,您可以在其中快速调试 scrape 代码,而不必运行spider.它本来是用来测试数据提取代码的,但实际上您可以使用它来测试任何类型的代码,因为它也是一个常规的Python shell. shell用于测试xpath或css表达式,并查看它们是如何工作的,以及它们从您试图抓取的网页中提取的数据.它允许您在编写spider时交互地测试表达式,而不必运行spider来测试每个更改. 一旦你熟悉了 Scrapy Shell,你就

<scrapy爬虫>scrapy命令行操作

1.mysql数据库 2.mongoDB数据库 3.redis数据库 1.创建项目 scrapy startproject myproject cd myproject 2.创建爬虫 scrapy genspider myspider www.baidu.com scrapy genspider -t crawl myspider www.baidu.com----创建有rules配置 3.运行爬虫 scrapy crawl myspider 4.错误检查 scrapy check ----检查

web爬虫讲解—Scrapy框架爬虫—Scrapy安装—Scrapy指令

Scrapy框架安装 1.首先,终端执行命令升级pip: python -m pip install --upgrade pip2.安装,wheel(建议网络安装) pip install wheel3.安装,lxml(建议下载安装)4.安装,Twisted(建议下载安装)5.安装,Scrapy(建议网络安装) pip install Scrapy 测试Scrapy是否安装成功 Scrapy框架指令 scrapy -h 查看帮助信息 Available commands: bench Run q

Scrapy之Scrapy shell

Scrapy Shell Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端). IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性.(推荐安装IPython) 启动Scrapy Shell 进入项目的根目录,执行下列命令来启动shell: sc

Scrapy框架----- Scrapy Shell

Scrapy Shell Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端). IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性.(推荐安装IPython) 启动Scrapy Shell 进入项目的根目录,执行下列命令来启动shell: sc

scrapy项目入门--shell的使用!

1.创建一个scrapy的开发环境 下载scrapy,但是由于pip版本等问题,所以没有最终成功,但是更改pycharm中的环境,使用anaconda就可以了,因为包含了scrapy环境! 2.使用 scrapy 来创建 ArticleSpider项目 打开cmd界面,输入scrapy startproject ArticleSpider 然后在相应的目录找到 ArticleSpider项目,复制到pycharm中 3.更改cmd界面目录,到达pycharm项目目录,我的目录是:C:\Users

scrapy(1)——scrapy介绍

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据.抓取网页的一般方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页面获取到这些URL加入到爬虫的抓取队列中,然后进入到新页面后再递归的进行上述的操作,其实说来就跟深度遍历或广度遍历一样. Scrapy 使用 Twi

Scrapy: 初识Scrapy

1.初识Scrapy Scrapy是为了爬取网站数据,提取结构性数据而编写的应用框架.可以应用在包括数据挖掘,信息处理或者存储历史数据等一系列的程序中. 2.选择一个网站 当需要从某个网站获取信息时,但该网站未提供API或者能通过程序获取信息的机制时,Scapy可以助你一臂之力. 3.定义想抓去的数据 在Scrapy中,通过Scrapy Items来完成的 import scrapy class TorrentItem 原文地址:https://www.cnblogs.com/baxianhua