Python3下安装Scrapy

  在windows下安装Scrapy的错误挺多的, 我将我安装成功的步骤发出来,供更多的人参考。

  首先,直接进入Scrapy网站的文档Installation guide下的 Installing Scrapy下:

https://doc.scrapy.org/en/1.2/intro/install.html

可以看到安装Scrapy所依赖的包。

parsel, w3lib, cryptography, pyOpenSSL这些可以直接使用pip命令安装。如:

pip install parsel

而lxml和twisted使用pip安装则会出现错误。

这两个包可以在如下网站下载whl文件,之后在安装。

http://www.lfd.uci.edu/~gohlke/pythonlibs/

注意下载时要选择自己操作系统位数和python软件位数对应的进行下载

依赖包在安装完成之后就可以使用pip命令安装scrapy了

等待完成就显示Successfully了

至此,Scrapy就安装完成了,可以做你想做的事情了

时间: 2024-10-12 02:39:53

Python3下安装Scrapy的相关文章

python3下安装aiohttp遇到过的那些坑

python3下安装aiohttp遇到过的那些坑 最近需要用到aiohttp这个库,在安装过程中遇到很多坑.google.baidu后,依然没有找到合适的解决方案. 后来通过去python官方的PyPI查看aiohttp库,才发现一些问题,几经折腾,最后终于成功的在python3下安装’aiohttp’. 在这里跟大家分享一下被坑的过程. 先说一下环境.win7,64位.电脑里安装的python有3.5和3.6两个版本. 1. python3.6下安装aiohttp python3.6环境下,已

windows下安装Scrapy

前言 最近有一个爬虫的需求,其实之前也玩过一点,但是都只是止步于会用工具的程度,接下来准备深入系统学习一下python爬虫. 谈到python爬虫,不能不提的就是大名鼎鼎的scrapy爬虫框架.不过,如果只是入门的话,我建议没有必要过早的接触框架类的东西,尽量使用一些简单的工具库,会比较有助于你理解爬虫的原理. 只是我个人习惯,安装python之后就一定要把scrapy一起安装了,因为总觉得我迟早会用到它,所以先装着无妨. 之前安装scrapy时都是一路坎坷,没有那么容易,特别是在windows

python应用:爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时,安装Microsoft Visual C++ Compiler for Python 2.7 下载地址:https://www.microsoft.com/en-us/download/confirmat

win7中python3.4下安装scrapy爬虫框架(亲测可用)

貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤: 1.首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml 其中,twisted和lxml的安装包可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的安装包(我的是win64,python34) pip install Twisted-17.1.0-cp34-cp34m-

Python3.X 安装Scrapy

安装Scrapy有两种方法: 1.pip install Scrapy 这种方式按道理来说是最简洁最快速的,但是有的时候安装不成功,只能更换一种方式,下载源文件安装的方式,详见下面一步. 2.下载文件到本地安装,由于我的版本是Python3.6,所以对应下载了文件. https://www.lfd.uci.edu/~gohlke/pythonlibs/ 主页找到以下两个文件 Scrapy-1.5.0-py2.py3-none-any.whl Twisted-17.9.0-cp36-cp36m-w

Windows上Python3.5安装Scrapy(lxml)

常用网址: Python 3.5: https://www.python.org/downloads/ Wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 参考文章: https://www.webucator.com/blog/2015/03/how-to-install-lxml-for-python-3-on-64-bit-windows/ http://stackoverflow.com/questions/23944465/i

CentOS下安装scrapy时lxml无法安装的解决办法

要在centos下安装一个python的爬虫框架scrapy,可是一直遇到lxml无法安装,报错为 error: command 'gcc' failed with exit status 1 查找资料后在Stack Overflow找到解决方法 sudo yum install -y gcc ruby-devel libxml2 libxml2-devel libxslt libxslt-devel

96、python version 3.6 required,which was not fount in the registry(python3.6安装scrapy)

在安装scrapy时遇到问题 环境:win10(64位), Python3.6(64位) 安装scrapy: 1.安装wheel(安装后,便支持通过wheel文件安装软件) pip3 install wheel 2.安装lxml.pyopenssl lxml:解析XML的库,很强大,做爬虫BS4,selenium,XPATH都会用到 pip3 install lxml pip3 install pyopenssl 3.安装pywin32 下载网址: https://sourceforge.net

python3.6安装Scrapy

一.windows 前置安装 安装win32api包: pip install pypiwin32 安装Twisted,需要此非官方库中间部分找到类似如下: Twisted, an event-driven networking engine. Twisted?19.2.1?cp27?cp27m?win32.whl Twisted?19.2.1?cp27?cp27m?win_amd64.whl Twisted?19.2.1?cp35?cp35m?win32.whl Twisted?19.2.1?