虚拟环境安装Scrapy框架

Scrapy框架涉及到依赖库,采用本地安装
建议在虚拟环境中安装
python -m venv Scrapy
cd Scrapy
cd Scripts
activate
python3.3以上可以通过上面的步骤进入虚拟环境

升级pip
python -m pip install --upgrade pip

下载lxml文件
https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip install wheel
安装下载的文件
pip install lxml-4.2.1-cp36-cp36m-win_amd64.whl

安装zope.interface
下载对应的版本
https://pypi.org/project/zope.interface/#downloads
pip install zope.interface-4.5.0-cp36-cp36m-win_amd64.whl

安装pyOpenSSL
https://pypi.org/project/pyOpenSSL/#downloads
pip install pyOpenSSL-17.5.0-py2.py3-none-any.whl

安装Twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
pip install Twisted-18.4.0-cp36-cp36m-win_amd64.whl

安装pywin32
https://sourceforge.net/projects/pywin32/files/pywin32/ #旧版本网址
https://github.com/mhammond/pywin32/releases #新版本网址
双击安装
pywin32-223.win-amd64-py3.6.exe

安装Scrapy

pip install Scrapy

原文地址：https://www.cnblogs.com/sunlizhao/p/9033342.html

时间： 2024-10-10 06:30:58

虚拟环境安装Scrapy框架的相关文章

Python3安装scrapy框架步骤

Python3安装scrapy框架步骤 1.       安装wheel a)     Pip install wheel 2.       安装lxml Pip install lxml 3.       安装Twisted Pip install Twisted 4.       安装scrapy Pip install scrapy 原文地址:https://www.cnblogs.com/xshan/p/8228293.html

win10虚拟环境安装scrapy

说明:本人用的是python3.6版本,64位系统. 第一步:创建并激活虚拟环境 virtualenv scrapy scrapy\Scripts\activate 第二步:安装lxml pip install lxml 第三步:安装Twisted 这里可能需要你的Visual C++版本大于15,自行到下面网址下载即可 http://landinghub.visualstudio.com/visual-cpp-build-tools pip install twisted 第四步:安装pyop

安装scrapy框架

前提安装好python.setuptools. 1.安装Python 安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里.在cmd中输入python如果出现版本信息说明配置完毕(如下面截图).python下载网站,https://www.python.org/downloads/.请选择对应的Python版本安装.我装了2.7 (记得设置环境变量)   2.安装lxml    lxml是一种使用 Python 编写的库,可以迅速.灵活地

mac os安装scrapy框架

因为Mac 自带了python 2.7 所以只需要安装pip包管理工具安装scrapy就可以了 sudo easy_install pip 然后 pip install Scrapy 但是报错了 显示了依赖satisfied 但是就是装不了 在网上找了各种资料 都是各种各样 最后一不小心 sudo rm -rf /usr/bin/python 干脆删除了python 使用homebrew 安装python3 brew install python3 在brew 的目录下发现pip3也安装好了 再

安装scrapy框架出错的解决

要安装scrapy 一般会出现 以下错误(要先安装twisted) 今天通过pip安装twisted遇到了"error: Microsoft Visual C++ 14.0 is required"错误. 于是下载了一个VS2017,但是发现问题并没有解决,在我配置了系统环境后仍然是这样的错误. 但后来我还是解决了这个办法.估计其他人也可能遇到类似的问题,于是写下了这篇博客. 正文开始: 1.通过pip安装twisted出错 2.Unofficial Windows Binaries

Python3.x 安装Scrapy框架

先判断pip是否已经安装 pip --version 确认已经安装后,使用pip安装库 pip3 install PackageName eg: pip3 install Scrapy 报错解决方案 Windows安装Python组件Scrapy报错的解决方案 原文地址:https://www.cnblogs.com/littlebob/p/9189908.html

[Python][Scrapy 框架] Python3 Scrapy的安装

1.方法(只介绍 pip 方式安装) PS.不清楚 pip(easy_install) 可以百度或留言. cmd命令: (直接可以 pip,而不用跳转到 pip.exe目录下,是因为把所在目录加入 Path 环境变量中) 通过 pip install 安装的好处: 安装起来非常的方便 安装 scrapy 和依赖包 包的一致性可以保证 2.可能遇到的一些问题 安装到的时候有些自动装不上: 上图显示装 'twisted.test.raiser' 这个子扩展包的时候自动装不上去,因为需要 VC++ 1

12.scrapy框架

一.Scrapy 框架简介 1.简介 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛. 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便. Scrapy 使用了 Twisted'tw?st?d异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求 框架图如下: 流程: Scrapy Engine(引擎): 负责Spid

爬虫 （5）- Scrapy 框架简介与入门

Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛. 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便. Scrapy 使用了 Twisted['tw?st?d](其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求. 制作 Scrapy 爬虫 一共需要4步: 新建项目 (