安装scrapy框架

前提安装好python、setuptools。

  1. 1.安装Python

    安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载网站,https://www.python.org/downloads/。请选择对应的Python版本安装。我装了2.7

    (记得设置环境变量)

  2.  

    2.安装lxml    lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。下载地址 https://pypi.python.org/pypi/lxml/3.3.1,可用pip下载,

    下载命令:python -m pip install lxml

  3.  

    3.安装setuptools  一般都已经安装了的,可在cmd中用 python -m pip list 查看是否已经安装,如果没安装,用下载命令:python -m pip install setuptools安装,下载地址https://pypi.python.org/packages/2.7/s/setuptools/

  4.  

    4.安装zope.interface

    可在cmd中用下载命令:python -m pip install zope.interface

    也可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击https://pypi.python.org/pypi/zope.interface/4.1.0#downloads下载。

  5.  

    5.安装Twisted

    可在cmd中用下载命令:python -m pip install Twisted,它是用Python实现的基于事件驱动的网络引擎框架。下载地址:

    http://twistedmatrix.com/trac/wiki/Downloads

  6.  

    6.安装pyOpenSSL

    pyOpenSSL是Python的OpenSSL接口, 可在cmd中用下载命令:python -m pip install pyOpenSSL安装,下载地址:https://launchpad.net/pyopenssl

  7.  

    7.安装win32py          提供win32api,下载地址:https://sourceforge.net/projects/pywin32/files/

  8.  

    8.安装Scrapy

    直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行输入scrapy,如果出现下图,则安装成功。

时间: 2024-11-09 04:48:18

安装scrapy框架的相关文章

Python3安装scrapy框架步骤

Python3安装scrapy框架步骤 1.       安装wheel a)     Pip install wheel 2.       安装lxml Pip install lxml 3.       安装Twisted Pip install Twisted 4.       安装scrapy Pip install scrapy 原文地址:https://www.cnblogs.com/xshan/p/8228293.html

虚拟环境安装Scrapy框架

Scrapy框架涉及到依赖库,采用本地安装建议在虚拟环境中安装python -m venv Scrapycd Scrapycd Scriptsactivatepython3.3以上可以通过上面的步骤进入虚拟环境 升级pippython -m pip install --upgrade pip 下载lxml文件https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxmlpip install wheel安装下载的文件pip install lxml-4.2.1-

mac os安装scrapy框架

因为Mac 自带了python 2.7 所以只需要安装pip包管理工具安装scrapy就可以了 sudo easy_install pip 然后 pip install Scrapy 但是报错了 显示了依赖satisfied 但是就是装不了 在网上找了各种资料 都是各种各样 最后一不小心 sudo rm -rf /usr/bin/python 干脆删除了python 使用homebrew 安装python3 brew install python3 在brew 的目录下发现pip3也安装好了 再

安装scrapy框架出错的解决

要安装scrapy 一般会出现 以下错误(要先安装twisted) 今天通过pip安装twisted遇到了"error: Microsoft Visual C++ 14.0 is required"错误. 于是下载了一个VS2017,但是发现问题并没有解决,在我配置了系统环境后仍然是这样的错误. 但后来我还是解决了这个办法.估计其他人也可能遇到类似的问题,于是写下了这篇博客. 正文开始: 1.通过pip安装twisted出错 2.Unofficial Windows Binaries

Python3.x 安装Scrapy框架

先判断pip是否已经安装 pip --version 确认已经安装后,使用pip安装库 pip3 install PackageName eg: pip3 install Scrapy 报错解决方案 Windows安装Python组件Scrapy报错的解决方案 原文地址:https://www.cnblogs.com/littlebob/p/9189908.html

[Python][Scrapy 框架] Python3 Scrapy的安装

1.方法(只介绍 pip 方式安装) PS.不清楚 pip(easy_install) 可以百度或留言. cmd命令: (直接可以 pip,而不用跳转到 pip.exe目录下,是因为把所在目录加入 Path 环境变量中) 通过 pip install 安装的好处: 安装起来非常的方便 安装 scrapy 和依赖包 包的一致性可以保证 2.可能遇到的一些问题 安装到的时候有些自动装不上: 上图显示装 'twisted.test.raiser' 这个子扩展包的时候自动装不上去,因为需要 VC++ 1

12.scrapy框架

一.Scrapy 框架简介 1.简介 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛. 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便. Scrapy 使用了 Twisted'tw?st?d异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求 框架图如下: 流程: Scrapy Engine(引擎): 负责Spid

爬虫 (5)- Scrapy 框架简介与入门

Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛. 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便. Scrapy 使用了 Twisted['tw?st?d](其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求. 制作 Scrapy 爬虫 一共需要4步: 新建项目 (

scrapy框架整理

0.安装scrapy框架 pip install scrapy 注:找不到的库,或者安装部分库报错,去python第三方库中找,很详细 https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud 1.创建一个scrapy框架 scrapy startproject 项目名 2.使用scrapy框架爬虫的三个步骤 a.配置items文件,确定需要爬取的字段 b.配置pipeline文件,确定文件的存储方式,并在setting文件中配置管道文件 注:如