windows下PyCharm运行和调试scrapy

Scrapy是爬虫抓取框架,Pycharm是强大的python的IDE,为了方便使用需要在PyCharm对scrapy程序进行调试 python PyCharm Scrapy

scrapy指令其实就是一个python的运行脚本

pyCharm是一个强大的pythonIDE

在运行scrapy库时,其实是相当于运行一个python脚本:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

所以当运行scrapy crawler spider时,其实与指令:

  python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl spider

的效果是一样的

这样只需要在pycharm中的Run下Edit Configurations...中做运行配置即可:

Name可以随便填

点击ok后,在你的项目中设置断点或者直接运行,即可调试该项目了

时间: 2024-10-10 12:23:16

windows下PyCharm运行和调试scrapy的相关文章

windows下(免cygwin)Eclipse调试C++(Cocos2dx Android )

原文链接: http://www.cnblogs.com/zouzf/p/4202537.html 先说windows下的,mac下的在最后 环境:win8.1.java 1.5.Eclipse 4.3.1.ADT bundle 22.6.2.v20140321.NDK r8e.cocos2dx 2.2.3 前提:下载好cocos2dx.NDK(r8e以上版本可以不装cygwin) .ADT bundle(带Eclipse.sdk等各种插件),配置好 JAVA_HOME.CLASSPATH.ND

windows下 pycharm开发spark

一 部署本地spark环境 1.1  安装好JDK       下载并安装好jdk1.7,配置完环境变量. 1.2 Spark环境变量配置 去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6 解压下载的文件,假设解压 目录为:D:\spark-1.6.0-bin-hadoop2.6.将D:\spark-1.6.

git(5) windows下 pycharm + git ,在本地方便管理

本篇博客讲解一下,windows下如何在pycharm下使用git,在本地进行commit,push,pull等操作 优点:简单,方便 pycharm版本:5.0.3(不同的版本选项分布有所不同) 服务器:阿里云服务器,git在服务器上面 首先第一步你要安装pycharm,同时你也要在本地安装git 如何在本地安装git请点击:windows下安装git 打开pycharm,然后按照下图所示步骤填写,你所安装的git的path 然后在如下所示的步骤中编辑你的git地址,http开头的地址 截止到

windows下源码安装调试postgresql

环境:windows 10 postgresql版本:postgresql-9.6.5 使用工具:vs2017社区版 辅助工具:perl.diff.flex.bison 相关工具下载地址: perl下载链接:http://pan.baidu.com/s/1i5aPilB 密码:k6f0 diff.flex.bison下载链接:http://pan.baidu.com/s/1hrHotes 密码:4ku6 以上工具均为绿色版,解压后,设置环境变量即可 此处使用的编译调试工具为vs2017社区版,该

windows下python-nmap运行过程中出现的问题及解决办法

1)问题描述 在windows下会抛出以下异常. Traceback (most recent call last): File "ftplogin_file.py", line 111, in <module> main() File "ftplogin_file.py", line 109, in main ftpLogin(filepath) File "ftplogin_file.py", line 77, in ftpLog

【Java】windows下直接运行Java程序(利用bat运行jar文件)

这种方法只是掩耳盗铃,简化了运行jar的方式.并不是将Java代码打包成了exe文件. 具体步骤为,电脑上有JRE环境,然后利用bat文件包装一下运行jar的控制台语句,最后用C语言打包成exe文件. jar包有两种运行方式,一种为直接双击,直接双击需要配置注册表和环境变量才能运行jar包. 还有一种是在控制台运行,输入javaw -jar xxxx.所有的操作都需要Java环境. bat文件 bat是Windows下可以直接运行的批处理文件,编写也很简单. 新建一个txt文件,输入下面两行脚本

Windows 下 pycharm 创建Django 项目【用虚拟环境的解释器】

1.  背景 我在 Windows 下的 pycharm  直接创建 全新 Django  项目 会  pip 和其他报错 ,暂时解决不了,另外后续的多个项目只需要一套python 环境, 所以可以 利用  virtualenv  创建一个 虚拟环境,pycharm  创建的 Django 项目 在选择解释器的时候    选择虚拟环境的解释器. 2.  virtualenv  安装 https://www.cnblogs.com/chenpython123/p/11517070.html 在 虚

Windows下Pycharm安装Tensorflow:ERROR: Could not find a version that satisfies the requirement tensorflow

今天在Windows下通过Pycharm安装Tensorflow时遇到两个问题: 使用pip安装其实原理都相同,只不过Pycharm是图形化的过程! 1.由于使用国外源总是导致Timeout 解决方法是在Pycharm中添加清华源 https://mirrors.aliyun.com/pypi/simple/(或者其他的国内源) 2.替换成清华源后安装报错: ERROR: Could not find a version that satisfies the requirement tensor

windows下pycharm远程调试pyspark

参考http://www.mamicode.com/info-detail-1523356.html1.远端执行:vi /etc/profile添加一行:PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.9-src.zip或者PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip2.安装pip 和 py4j下载pip-9.0.1.t