Python3安装Scrapy

 Microsoft Visual C++ Build Tools

  最近项目在写爬虫,项目经理给了个Python Scrapy的爬虫项目,要求使用Java实现相关功能。于是乎在本地先后安装了Python3和Scrapy,在安装Scrapy时出现了个小插曲,现在总结如下:

  第一、安装Scrapy

  查看网上安装scrapy,网友基本就是告诉你使用命令: pip install scrapy

然而、不是很熟悉Python的时候,就会发现根本找不到pip命令,这里不是说在PTAH中配置了Python的环境变量就可以了,这是因为pip在python安装目录的Scripts文件夹中。如图:

所以、这里还需要将Scripts加入环境变量PATH中,这样就可以直接使=使用命令行的方式安装Scrapy了。

  当你设置好环境变量后,准备安装Scrapy时,你又会惊喜的发现安装过程报了个错误:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

  第二、安装Wheel  

  这个错误是在安装Scrapy所需要的中间件Twisted时,所需要的编译工具,如果你老老实实的去下载 Microsoft Visual C++ Build Tools,你就会发现这个工具不是一般的大,而且据网友反映,安装后依然无法安装Scrapy;现在、教你用另一种方式安装:

1.执行命令:pip install wheel

2.手动下载:Twisted文件,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

  注意:这里你要下载和你本地的Python版本一致的Twisted文件;字符cp后为python的版本,即27表示Python2,7,36表示Python3.6,目前最新的稳定版是Python3,6

  

3.安装Twisted:pip install [你下载的Twisted文件在本地的路径],如:pip install E://Twisted...cp36....amd64.whl

4.安装Scrapy:pip install scrapy

  以上各步骤都执行成功后,即可创建Scrapy爬虫项目了。小伙伴、有木有很期待。

原文地址:https://www.cnblogs.com/julygift/p/9063543.html

时间: 2024-10-10 05:45:20

Python3安装Scrapy的相关文章

【转载】python3安装scrapy之windows32位爬坑

python3安装scrapy之windows32位爬坑 原创 2016年11月06日 01:38:08 标签: scrapy / windows / python / 开源框架 / 网络爬虫 早就听说scrapy不支持python3,而scrapy作为一款优秀的开源框架,不在新的python上集成一下实在可惜.最近刚好打算开始学习网络爬虫,网上又有那么多教程,so今天就来爬一下这个坑. 首先当然是安装一下python,官网可以直接安装最新的3.5.2.安装完成以后,可以成功python后在cm

Python3安装scrapy框架步骤

Python3安装scrapy框架步骤 1.       安装wheel a)     Pip install wheel 2.       安装lxml Pip install lxml 3.       安装Twisted Pip install Twisted 4.       安装scrapy Pip install scrapy 原文地址:https://www.cnblogs.com/xshan/p/8228293.html

Python3安装scrapy教程

本人经过一系列令人想要砸电脑的试验后,我总于找到了Python3下正确安装scrapy的方法,第一步,来这里  下载适合你的lxml 下载好你的*.whl后,在该文件目录下输入以下命令 successfully install 啦啦啦.有不会记得留言哦!!

ubuntu下python3安装scrapy,OpenSSL

环境:ubuntu 16.04  ,  python3.5.1+ 安装顺序如下: sudo apt-get install build-essential sudo apt-get install python3-dev sudo apt-get install libxml2-de; sudo apt-get install libxslt1-dev sudo apt-get install python3-setuptools 然后安装Scrapy: scrapy运行必备组件需要(OpenS

Python3网络爬虫(五):Python3安装Scrapy

一.Scrapy简介 Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中.Scrapy最初就是为了网络爬取而设计的.现在,Scrapy已经推出了曾承诺过的Python3.x版本. 为什么学习Scrapy呢?它能我们更好的完成爬虫任务,自己写Python爬虫程序好比孤军奋战,而使用了Scrapy就好比手底下有了千军万马.Scrapy可以起到事半功倍(甚至好几倍*.*)的效果.所以,学习Scrapy也就显得很有必要了. 二.S

《转载》Python3安装Scrapy

运行平台:Windows Python版本:Python3.x IDE:Sublime text3 转载自:http://blog.csdn.net/c406495762/article/details/60156205 一.Scrapy简介 Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中.Scrapy最初就是为了网络爬取而设计的.现在,Scrapy已经推出了曾承诺过的Python3.x版本. 为什么学习Scrapy呢

python3 安装scrapy Exception: Traceback (most recent call last): File "/usr/lib/python3/dist-packages/pip/req/req_install.py", line 1006, in check_if_exists解决方法

错误代码: Exception: Traceback (most recent call last): File "/usr/lib/python3/dist-packages/pip/req/req_install.py", line 1006, in check_if_exists self.satisfied_by = pkg_resources.get_distribution(str(no_marker)) File "/usr/share/python-wheel

Windows上Python3.5安装Scrapy(lxml)

常用网址: Python 3.5: https://www.python.org/downloads/ Wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 参考文章: https://www.webucator.com/blog/2015/03/how-to-install-lxml-for-python-3-on-64-bit-windows/ http://stackoverflow.com/questions/23944465/i

win7中python3.4下安装scrapy爬虫框架(亲测可用)

貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤: 1.首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml 其中,twisted和lxml的安装包可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的安装包(我的是win64,python34) pip install Twisted-17.1.0-cp34-cp34m-