在Pycharm中运行Scrapy爬虫项目的基本操作

目标在Win7上建立一个Scrapy爬虫项目,以及对其进行基本操作。运行环境:电脑上已经安装了python(环境变量path已经设置好),

以及scrapy模块,IDE为Pycharm 。操作如下:

  一、建立Scrapy模板。进入自己的工作目录,shift + 鼠标右键进入命令行模式,在命令行模式下,

输入scrapy startproject 项目名 ,如下:

看到以上的代码说明项目已经在工作目录中建好了。

  二、在Pycharm中scrapy的导入。在Pycharm中打开工作目录中的TestDemo,点击File-> Settings->Project: TestDemo->Project Interpreter。

法一: 如图,

选择红框中右边的下拉菜单点击Show All, 如图:

点击右上角加号,如图:

在红色框体内找到电脑里已经安装的python,比如我的是:

C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\python.exe , 导入即可。

之后,pycharm会自动导入你已经在电脑上安装的scrapy等模块。如图,即红色框体中显示的。

法二:一个不那么麻烦的方法。如图:

点击红色框体,在弹出的框体内另安装一个scrapy, 如图:

需要安装的模块,如图:

模块自下而上进行安装,其中可能出现twisted包不能成功安装,出现

Failed building wheel for Twisted

Microsoft Visual C++ 14.0 is required...

的现象,那就搜一解决方案,这里不多说了。

三、Pycharm中scrapy的运行设置。

  法一:Scrapy爬虫的运行需要到命令行下运行,在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行,默认

是在项目目录下的,要运行项目,需要进入下一层目录,使用cd TestDemo 进入下一层目录,然后用scrapy crawl 爬虫名 , 即可运行爬虫。

如图:

  法二:在TestDemoSpider目录和scrapy.cfg同级目录下面,新建一个entrypoint.py文件,如图:

其中只需把红色框体内的内容改成相应的爬虫的名字就可以在不同的爬虫项目中使用了,直接运行该文件就能使得Scrapy爬虫运行

Tips:在创建爬虫时使用模板更加方便一些,如:

scrapy genspider [-t template] <name> <domain>   即:scrapy genspider testDemoSpider baidu.com

原文地址:https://www.cnblogs.com/llssx/p/8378832.html

时间: 2024-10-24 00:32:18

在Pycharm中运行Scrapy爬虫项目的基本操作的相关文章

在pycharm中使用scrapy爬虫

目标在Win7上建立一个Scrapy爬虫项目,以及对其进行基本操作.运行环境:电脑上已经安装了python(环境变量path已经设置好), 以及scrapy模块,IDE为Pycharm .操作如下: 一.建立Scrapy模板.进入自己的工作目录,shift + 鼠标右键进入命令行模式,在命令行模式下, 输入scrapy startproject 项目名 ,如下: 看到以上的代码说明项目已经在工作目录中建好了. 二.在Pycharm中scrapy的导入.在Pycharm中打开工作目录中的TestD

Pycharm中运行Python代码的几种方式

在pycharm中的Python代码运行会出现各种奇葩的问题,比如,密码输入时不显示或没有提示,给我们带来一些麻烦,下面介绍几种代码运行的几种方式: 一.直接运行(Run按钮或者快捷键shift+F10) 1.进入pychram主界面,输入代码后,直接Run就可以: 2.Termnal下运行.py文件 在pycharm的主界面,点termnal,进入命令面板,选择路径,回车键执行相应的文件(python 文件名.py). 3.终端命令行 1>进入pycharm主界面,选中要执行的文件或目录; 2

pycharm中配置启动Django项目

1.先打开mange.py,然后再运行,会提示一堆东西,表示没有配置参数.在pycharm中点击edit configurations 编辑配置参数. 2.点开之后弹出如下对话框,在scrip parameters 对应的对话框中输入配置参数 runserver 127.0.0.1:8000.配置完成之后点击ok就完成了. 3.配置完以上信息之后,直接运行一下manage.py文件:出现如下结果,表示配置成功. 4.在浏览器中输入 http://127.0.0.1:8000 原文地址:https

win10在Pycharm中安装scrapy

查看官网说明 发现推荐是安装Anaconda 或 Miniconda,这东西有点大而全,感觉目前用不上.所以没这样做. 直接安装scrapy 如果直接装会报错的,参考文章就可以解决. 这里记一下组件下载网址. 完成安装 Pycharm的Terminal中输入scrapy命令,如果命令能找到,说明安装已成功. 原文地址:https://www.cnblogs.com/lyg-blog/p/10695284.html

解决pycharm中安装scrapy提示 Microsoft Visual C++ 14.0 is required问题

安装方法: 出现问题:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools 上网搜了各种方法都不好使,主要试了以下方法: 解决方法:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载对应

tf 在pycharm 中运行报错的解决

安装完Tensorflow 后,在Pychram中添加 解释器之后,运行"hello,tensorflow!"测试程序,虽能运行 输出' hello,tensorflow! ', 但是在输出结果之前 会有一行红色字体报错: import tensorflow as tf hello = tf.constant("Hello!TensorFlow") sess = tf.Session() print(sess.run(hello)) 参考: 成功解决Your CPU

PyCharm调试运行Scrapy教程

https://www.cnblogs.com/lsdb/p/9122970.html https://blog.csdn.net/u012052268/article/details/72063917 原文地址:https://www.cnblogs.com/jslz/p/12119286.html

手把手教你如何新建scrapy爬虫框架的第一个项目(下)

前几天小编带大家学会了如何在Scrapy框架下创建属于自己的第一个爬虫项目(上),今天我们进一步深入的了解Scrapy爬虫项目创建,这里以伯乐在线网站的所有文章页为例进行说明. 在我们创建好Scrapy爬虫项目之后,会得到上图中的提示,大意是让我们直接根据模板进行创建Scrapy项目.根据提示,我们首先运行"cd article"命令,意思是打开或者进入到article文件夹下,尔后执行命令"scrapy genspider jobbole blog.jobbole.com&

一篇文章教会你理解和定义Scrapy爬虫框架中items.py文件

在前面几篇文章中我们已经学会了如何了编写Spider去获取网页上所有的文章链接及其对应的网页目标信息.在这篇文章中,我们将主要介绍Scrapy中的Item. 在介绍Item之前,我们需要知道明确一点,网络爬虫的主要目标就是需要从非结构化的数据源中提取出结构化的数据,在提取出结构化的数据之后,怎么将这些数据进行返回呢?最简单的一种方式就是将这些字段放到一个字典当中来,然后通过字典返回给Scrapy.虽然字典很好用,但是字典缺少一些结构性的东西,比方说我们容易敲错字段的名字,容易导致出错,比方说我们