使用scrapy crawl name启动一个爬虫时出现的问题

使用scrapy crawl name启动一个爬虫时出现的问题,我的项目名字叫做 “spider_city_58”,代码如下:

from scrapy import cmdline
cmdline.execute("scrapy crawl spider_city_58".split())

来启动一个爬虫,却出现了如下错误

ImportError: No module named win32api

一开始尝试了网上其他的方法,就是去下载”pywin32-220.win-amd64-py3.6.exe“,安装,发现根本无法安装,明明我的python版本也是64位的3.6,现在也不知道为啥!

于是卸载了python和其他所有的模块,但是依然报错,之后就尝试了以下的办法就解决了,汗~~

pip install pypiwin32

唉,这么简单却没有想到,郁闷~



原文地址:https://www.cnblogs.com/c-road/p/8908460.html

时间: 2024-11-11 18:18:56

使用scrapy crawl name启动一个爬虫时出现的问题的相关文章

docer启动一个容器时的过程

docker在执行run 命令来启动一个容器时,内部是如何操作的那?下面我们来验证下: 1.当我们执行完docker run -d -p 80:80 httpd 这条命令后,会先在本地查找是否有httpd这个镜像 2.如果本地查找不到,就会从远程库中下载 3.下载完后,启动起来,生成一个digest的id 4.同时下载的httpd,会被保存到本地,下次再使用这个镜像的时候,会直接从本地查找到,然后使用 我们可以通过docker images 查看到本地保存的所有镜像,如上图,这里会有创建的时间,

Linux内核如何装载和启动一个可执行程序(转)

原文:http://www.cnblogs.com/petede/p/5351696.html 实验七:Linux内核如何装载和启动一个可执行程序 姓名:李冬辉 学号:20133201 注: 原创作品转载请注明出处 + <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 云课堂笔记: (1)可执行文件的创建 C代码(.c) - 经过编译器预处理,编译成汇编代码(.asm) - 汇编器,生成目标代码(.o) - 链接

Android 是怎么启动一个Acitivity的?

可以把启动过程分为client端和server端. 一.client端在启动一个Activity时进行的工作 备注:我个人理解,client端指的是相对后台ActivityManagerService 进程来说的前台用户可见的进程,如在界面启动某一个Activity的就是Laucher进程.这里则以从home桌面启动一个Activity来分析启动过程: (1)Launcher 这个进程的主线程,在捕获onClick点击事件后,调用 startActivitySafely 方法, startAct

利用scrapy和MongoDB来开发一个爬虫

今天我们利用scrapy框架来抓取Stack Overflow里面最新的问题(问题标题和网址),并且将这些问题保存到MongoDb当中,直接提供给客户进行查询. 安装 在进行今天的任务之前我们需要安装二个框架,分别是Scrapy (1.1.0)和pymongo (3.2.2). scrapy 如果你运行的的系统是osx或者linux,可以直接通过pip进行安装,而windows需要另外安装一些依赖,因为电脑的原因不对此进行讲解. $ pip install Scrapy 一旦安装完成之后你可以直

用Scrapy写一个爬虫

昨天用python谢了一个简单爬虫,抓取页面图片: 但实际用到的爬虫需要处理很多复杂的环境,也需要更加的智能,重复发明轮子的事情不能干, 再说python向来以爬虫作为其擅长的一个领域,想必有许多成熟的第三方框架,百度后选用了 Scrapy作为平台构建复杂爬虫. Scarpy的下载安装不必细说,话说当前只支持python2.x版本,很郁闷,下载安装了python2.7. 安装完后,按照<Scrapy Tutorial>和Scrapy at a glance两篇帖子作为学习范本. 概念及步骤简要

scrapy按顺序启动多个爬虫代码片段(python3)

问题:在运行scrapy的过程中,如果想按顺序启动爬虫怎么做? 背景:爬虫A爬取动态代理ip,爬虫B使用A爬取的动态代理ip来伪装自己,爬取目标,那么A一定要在B之前运行该怎么做? IDE:pycharm 版本:python3 框架:scrapy 系统:windows10 代码如下:(请自行修改) # !/usr/bin/env python3 # -*- coding:utf-8 -*- from scrapy import cmdline from twisted.internet impo

WinCE C#程序,控制启动时只能启动一个程序,使用互斥量来实现,该实现方法测试通过

</pre><pre code_snippet_id="430174" snippet_file_name="blog_20140718_5_4634982" name="code" class="csharp"> </pre><pre code_snippet_id="430174" snippet_file_name="blog_20140718_5_

运行scrapy crawl (文件名)时显示invalid syntax和no modle &#39;win32api&#39;解决方案

使用pycharm爬取知乎网站的时候,在terminal端输入scarpy crawl zhihu,提示语法错误,如下: 原因是python3.7中将async设为关键字,根据错误提示,找到manhole.py文件,将文件中async参数全部更改为其它名,比如async1. 这时候运行scarpy crawl zhihu,显示如下错误: 解决方案: 原因是缺少win32,到 http://sourceforge.net/projects/pywin32/files/ 找到对应的版本进行下载,直接

WebCollector内核解析—如何设计一个爬虫

本文利用WebCollector内核的解析,来描述如何设计一个网络爬虫.我们先来看看两个非常优秀爬虫的设计. Nutch Nutch由apache开源组织提供,主页:http://nutch.apache.org/ Nutch是目前最好的网络爬虫之一,Nutch分为内核和插件两个模块组成,内核控制整个爬取的逻辑,插件负责完成每个细节(与流程无关的细节)的实现.具体分工如下: 内核:控制爬虫按照 Inject -> Generator -> Fetch -> Parse -> Upd