py3.7安装Scrapy及安装时的 Running setup.py install for Twisted ... error 和安装后的 Unhandled error in Deferred:

1.首先,win+r 进入cmd,打开命令提示符,输入  pip install scrapy  等待自动安装;

2.到了后半段会出现  Running setup.py install for Twisted ... error  这个错误提示(当时我自己百度了去修改文件,结果发现自己根本都没有那个文件夹及文件)

正确操作:手动下载Twisted包并会用pip命令安装

下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

根据自己py版本及系统下载对应版本安装(注:文件名中cp**,**是你的py版本)

把下载文件放到你的 python 目录的 Scripts 文件下,在命令行中输入:pip install 自己py的安装路径+Python\Scripts\下载文件

即可成功安装Twisted库,然后继续命令行输入:pip install scrapy    Scrapy很快被成功安装

4.在命令行中输入scrapy -h,检查是否安装成功

5.重点,一个大坑,这时你如果去运行爬虫,不会管咋样都会失败,提示Unhandled error in Deferred:,因为缺少pywin32,许多安装博客都不会让安装,到第4步戛然而止;

去:https://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32   下载pywin32

下载对应版本跟上方Twisted包一样

下载完成后,打开cmd,cd 进入下载的目录:pip install 下载的文件

到此,你可以正式去运行你的scrapy爬虫了

原文地址:https://www.cnblogs.com/dajie/p/11223775.html

时间: 2024-10-10 02:53:32

py3.7安装Scrapy及安装时的 Running setup.py install for Twisted ... error 和安装后的 Unhandled error in Deferred:的相关文章

解决安装ipython时Command "python setup.py egg_info" failed with error code 1 in /tmp

最近使用ubuntu16.04 server版安装ipython的时候一直在报错: IPython 6.0+ does not support Python 2.6, 2.7, 3.0, 3.1, or 3.2.      When using Python 2.7, please install IPython 5.x LTS Long Term Support version. python2.7 ipython Command "python setup.py egg_info"

Windows8.1 安装SQL Server2012部门组件安装不成功!(提示安装.NET 3.5时出错,无Internet情况下利用win8.1安装镜像安装.NET 3.5)

虽然从事着与开发毫无关系的工作,但却也断断续续维持了近6年的WEB开发,有时因为其它工作原因,可能每做一个项目的时间间隔比较大,有时甚至在做的一个项目因为其他事情而停滞几个月之久(有些项目是自己兴趣或者是帮别人做起练手的).个人认为,拖的越久就越浪费时间,同时对自己的提升也越低(做的东西很多都是现查资料现学习,因为间隔时间久了,常常之前就遇到过的问题,间隔一.两个月之后,就完全不记得了,又花同样的时间去查询解决).因此希望能养成记录的习惯,方便回顾自己的学习过程,以便以后查找.同时也能将自己遇到

安装Scrapy提示ERROR: 'xslt-config' 不是内部或外部命令,也不是可运行的程序

环境:win7.Python 2.7.12.PyCharm 2016.3 Requirement already satisfied (use --upgrade to upgrade): scrapy in d:\python27\lib\site-packages\scrapy-1.2.2-py2.7.egg Collecting Twisted>=10.0.0 (from scrapy) Downloading https://pypi.doubanio.com/packages/dc/c

安装scrapy出错Failed building wheel for Twisted

用64位windows10的CMD命令安装pip install scrapy出错: Running setup.py bdist_wheel for Twisted ... error Failed building wheel for Twisted Running setup.py clean for Twisted Failed to build Twisted Installing collected packages: pycparser, cffi, asn1crypto, cry

python中安装 django web.py gearman等各种包的安装和卸载方法总结

python可以使用easy_install进行各种包安装 也可以使用easy_install -m package-name进行包卸载,但有个问题是安装的版本不能控制. 使用源码安装各种包可以在把包解压后在根目录下输入python setup.py install安装,但卸载一般它就不管了.关于源码安装网上传的卸载方法 python setup.py install --record log cat log | xagrs rm -rf 个人经验python的包大部分也可以不进行安装,直接把这

如何解决python3.5.2安装scrapy的无法查找到vsvarall的问题

最近在使用python的Scrapy爬虫框架进行相应爬虫项目的开发和学些.但是在Windows环境下安装Scrapy的运行环境时,一直vsvarall.bat无法找到(is required < Unable to find vcvarsall.bat>  ).在网上找了各种各样的方法,尝试后都无法解决上述问题,后来通过参考一些其它的解决方法,并结合具体问题分析后,现将自己的解决办法整理如下: 1.出现上述报错,首先是因为Windows环境下为安装MicrosoftVisual Studio

mac os安装scrapy框架

因为Mac 自带了python 2.7 所以只需要安装pip包管理工具安装scrapy就可以了 sudo easy_install pip 然后 pip install Scrapy 但是报错了 显示了依赖satisfied 但是就是装不了 在网上找了各种资料 都是各种各样 最后一不小心 sudo rm -rf /usr/bin/python 干脆删除了python 使用homebrew 安装python3 brew install python3 在brew 的目录下发现pip3也安装好了 再

安装 Scrapy python抓取工具

重点在于FQ1.安装 pywin32 从http://sourceforge.net/projects/pywin32/ 请确认下载符合您系统的版本(win32或者amd64)2.安装 pip 地址:https://pypi.python.org/pypi/pip#downloads 注意选择tar.gz包,目前最新版本: pip-7.1.0.tar.gz (md5, pgp) 解压安装包,使用CMD进入解压目录,然后使用如下命令进行安装 python setup.py install 添加wi

Centos 6.6, 64-bit 安装scrapy

1. 安装依赖包,yum install libxml2-devel openssl libxslt-devel python-devel libffi-devel 2. pip install lxml   3. 安装Twisted:     从官网下载源码: wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.5.0.tar.bz2#md5=0831d7c90d0020062de0f7287530a285;