Scrapy的debug方式

Scrapy不方便调试,但是为了深入学习框架内部的一些原理,有时候仅仅依靠日志是不够的。下面提供一种scrapy的debug方式

demo直接用来自官方例子来演示:https://github.com/scrapy/quotesbot

在运行 scrapy 库时,其实是相当于运行一个 python 脚本:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

所以,我们将上面的代码保存为一个 debug.py 的文件在 scrapy 项目目录下

接着配置调试器,如下

接下来,直接在debug.py中就可以以此为入口调试了

时间: 2024-08-10 00:04:44

Scrapy的debug方式的相关文章

SAP ABAP 的经常使用debug方式

SAP ABAP 的经常使用debug方式: 1. 直接在程序中设断点 在se38里面打上breakpoint,程序执行到该处即进入debug模式 2.background Job的debug 进入SM37 查找到自己想要debug的后台程序,这里执行完成或者正在执行的均可进入debug 查找到后打中job前面的勾 然后在控制框输入JDBG回车,即进入debug 3.在程序执行界面进入debug 在程序的控制框输入/H,执行程序的时候就会进入debug 4.正在执行的程序进入debug 进入sm

SAP ABAP 的常用debug方式

SAP ABAP 的常用debug方式: 1. 直接在程序中设断点 在se38里面打上breakpoint,程序运行到该处即进入debug模式 2.background Job的debug 进入SM37 查找到自己想要debug的后台程序,这里运行完毕或者正在运行的均可进入debug 查找到后打中job前面的勾 然后在控制框输入JDBG回车,即进入debug 3.在程序运行界面进入debug 在程序的控制框输入/H,运行程序的时候就会进入debug 4.正在运行的程序进入debug 进入sm50

Openfire3.8.2在eclipse中Debug方式启动最简单的方式

一.前言 最近打算研究一下Openfire,于是打算最好能够以Debug方式启动Openfire的Server,到网上一搜,还果真早到官网的一篇文章来: http://community.igniterealtime.org/docs/DOC-1020 网上很多朋友按照这个教程去搭建,有的说文章有瑕疵的地方,姑且不说瑕疵,就这很长的步骤令人厌恶.本来我想按照这个教程去做,但是,单使用 Eclpse SVN下载令人崩溃,一直显示进度为0%,后来换了TortoiseSVN好一些,下载了两次,每次都花

ASP.NET CORE dotnet run 命令使用debug方式运行

由于我的开发环境比较复杂,每次调试一套项目都要启动好几个VS,比较繁琐,今天决定换一种方式调试,对于不该改动的代码的附加项目直接使用dotnet run命令以debug的运行方式运行, 一开始无法运行dubug方式,我需要的是Hosting environment: Development模式,后来在谷歌搜索找到了答案,不得不说百度真的很难找到解决方法,基本都是CTRL+C ,CTRL+V. 方法也很简单,windows 环境变量里面添加name= ASPNETCORE_ENVIRONMENT

java设计模式精讲 Debug 方式+内存分析

神秘数字-->求求 号:->:2304636824 第1章 课程导学 本章节主要讲解大家能收获什么,课程具体包含哪些内容,通过哪些方式来学习设计模式,以及怎么讲,怎么安排,通过本章的学习,让大家为整个课程高效的学习打下基础. 1-1 课程导学 第2章 UML急速入门 本章节主要讲解UML基础.UML类图.UML类关系.UML时序图.UML类关系记忆技巧等,让大家急速入门UML,从而为后面设计模式的学习做好准备. 2-1 本章导航 2-2 UML类图讲解 2-3 UML类图讲解-自上而下 2-4

eclipse中以debug方式启动tomcat报错

在eclipse中debug  Tomcat报错,错误如下: FATAL ERROR in native method: JDWP No transports initialized, jvmtiError=AGENT_ERROR_TRANSPORT_INIT(197) ERROR: transport error 202: connect failed: Operation timed out ERROR: JDWP Transport dt_socket failed to initiali

Windows 10下安装scrapy(pip方式,非wheel)

1.安装Microsoft Visual Studio Build Tools 打开下载链接,点击“https://aka.ms/BuildTools”,跳转后再页面底部找到“Visual Studio 2017 生成工具”,下载在线安装工具,开始在线安装. 安装时注意选中“Windows 10 SDK”选项. 参考链接 2.安装Twisted pip install Twisted 安装时出现UnicodeDecodeError,解决链接. 3.安装scrapy pip install scr

php 502 无错误行和文件的详细debug方式

如何找出发生SEGV内存错误的程序 exinnet 2016-04-12 17:45:00 浏览2796 ?问题?18-Feb-2014 15:48:45] WARNING: [pool www] child 11274 exited on signal 11 (SIGSEGV) after 0.089068 seconds from start显然11274进程运行过程中遇到了段错误导致进程异常退出了.继续追查发现是php的hsf扩展在启动初始化的时候遇到内存问题导致段错误.沧老师这个段错误进

[转]Debug 和 Release 编译方式的区别

本文主要包含如下内容: 1. Debug 和 Release 编译方式的本质区别2. 哪些情况下 Release 版会出错3. 怎样"调试" Release 版的程序Debug 和 Release 编译方式的本质区别    Debug 通常称为调试版本,它包含调试信息,并且不作任何优化,便于程序员调试程序.Release 称为发布版本,它往往是进行了各种优化,使得程序在代码大小和运行速度上都是最优的,以便用户很好地使用.    Debug 和 Release 的真正秘密,在于一组编译选