安装scrapy以及解决Twisted安装失败的问题

在安装scrapy之前

要安装以下包:

    1. pip install lxml
    2.  

      pip install w3lib 

    3.  

      pip install parsel

    4.  

      pip install cryptography

    5.  

      pip install pyOpenSSL

    6. pip install twisted

这里twisted包在直接安装时会报错,所以要到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载.whl文件

cp后面的数字是python的版本,win32和win_amd64分别代表32位和64的电脑版本,例如本人的电脑是64位,安装的python是3.7的,下载了Twisted-19.2.0-cp37-cp37m-win32.whl,是可以用的。

在命令行安装下载的.whl文件,输入命令:pip install F:\python-3.7.2\Twisted-19.2.0-cp37-cp37m-win32.whl  这里要写文件保存的完整路径。

显示安装成功后即可安装scrapy,输入命令:pip install scrapy

原文地址:https://www.cnblogs.com/xiaoxiaodevlog/p/10927037.html

时间: 2024-11-08 23:36:34

安装scrapy以及解决Twisted安装失败的问题的相关文章

CentOS下安装scrapy时lxml无法安装的解决办法

要在centos下安装一个python的爬虫框架scrapy,可是一直遇到lxml无法安装,报错为 error: command 'gcc' failed with exit status 1 查找资料后在Stack Overflow找到解决方法 sudo yum install -y gcc ruby-devel libxml2 libxml2-devel libxslt libxslt-devel

解决Linux 安装python3 .5 解决pip 安装无法成功问题ssl安全拦截无法pip安装库问题

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=4

Mac OS安装Scrapy失败

报错: DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project. Uninstalling six-1

96、python version 3.6 required,which was not fount in the registry(python3.6安装scrapy)

在安装scrapy时遇到问题 环境:win10(64位), Python3.6(64位) 安装scrapy: 1.安装wheel(安装后,便支持通过wheel文件安装软件) pip3 install wheel 2.安装lxml.pyopenssl lxml:解析XML的库,很强大,做爬虫BS4,selenium,XPATH都会用到 pip3 install lxml pip3 install pyopenssl 3.安装pywin32 下载网址: https://sourceforge.net

Mac OS安装Scrapy

个人觉得掌握简单的爬虫知识非常有用,特别是想要从一些特定网站自动地下载一些资源或者统计一些数据,非常的有用.对于产品经理来说,如果要了解竞争产品.替代产品的价格,可以写一个爬虫脚本从各大电商网站爬取相关的资料,避免人工处理的麻烦. Python写爬虫可以从简单的Scrapy框架入手.对于Mac OS系统来说,由于系统本身会引用自带的python2.x的库,因此默认安装的包是不能被删除的.如果你使用python3.x可以使用homebrew来安装,但是如果你习惯使用python2.x,那么直接安装

BizTalk 2013R2 WCF-LOB Oracle Adapter安装配置/问题&解决方法

BizTalk 2013R2 WCF-LOB Oracle Adapter安装配置/问题&解决方法 安装Oracle Adapter 安装Oracle客户端 BizTalk 2013R2 安装包自带的WCF LOB Adapter Pack for Oracle 需要Oracle客户端组件 ODP.NET或ODAC组件.这里很容易出现问题,版本的不兼容,因为Oracle Adapter默认需要安装 11.1.0.7这个版本 The Oracle Database adapter uses the

解决pycharm中安装scrapy提示 Microsoft Visual C++ 14.0 is required问题

安装方法: 出现问题:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools 上网搜了各种方法都不好使,主要试了以下方法: 解决方法:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载对应

安装scrapy框架出错的解决

要安装scrapy 一般会出现 以下错误(要先安装twisted) 今天通过pip安装twisted遇到了"error: Microsoft Visual C++ 14.0 is required"错误. 于是下载了一个VS2017,但是发现问题并没有解决,在我配置了系统环境后仍然是这样的错误. 但后来我还是解决了这个办法.估计其他人也可能遇到类似的问题,于是写下了这篇博客. 正文开始: 1.通过pip安装twisted出错 2.Unofficial Windows Binaries

安装scrapy,以及出现的错误解决。

首先我是在python3的环境上面完成的.我保留了python2的版本,然后安装python3的版本.然后在安装scrapy的过程中出现的错误,以及切换python版本后出现的错误.一.安装python3 cd /usr/local/src/ wget https://www.python.org/ftp/python/3.4.2/Python-3.4.2.tgz tar -xf Python-3.4.2.tgz cd Python-3.4.2 ./configure --prefix=/usr