Scrapy安装指南(windows)

windows开发,难免遇到很多坑,比一般开发是艰苦得多。先不吐槽windows,我们直接看这个scrapy怎么安装。

首先,要有一份文档,比如我用这个:

  http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html。

最好是根据自己的scrapy版本去找文档,百度一下google一下都行。

找到文档之后,文档中有安装指南,这个:

  http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html#intro-install-platform-notes

教你装装python,装个pip,基本上没什么用,呵呵呵。

scrapy要说,是有许多依赖的,你的python装好之后,直接pip install scrapy,在windows多半报错,先看最常见的错误:

  如果出现visual C++的字样,这个时候需要明白原因,是因为你的某个python包需要C++去编译,最简单你可以直接找到这个包,下载编译好的离线安装。你也可以直接下载安装VC,报错中会给个地址,注意VS版本。

  1.缺少libxml2,或者说缺少lxml

  这个时候,安装lxml:pip install lxml。

  安装上了只能说你运气好,安装不起很正常,没关系,离线安装:https://pypi.python.org/pypi/lxml/3.6.0这个网址,找到自己对应的版本,平台一定要正确,不然也安装不上,确认一下自己的windows位数,和自己python的版本,多版本的时候一定确定自己是安装在哪个版本的python上的。

  whl包的安装方法 pip install + 安装包全路径.whl

  2.缺少pyOpenSSL

  仍然是pip install安装,离线下载地址:

  https://pypi.python.org/pypi/pyOpenSSL/16.1.0

  3.缺少win32api

  安装pywin32,下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/

  直接下载exe安装即可。

  exe包的安装方法 easy_install + 安装包全路径.exe

以上步骤完成后,安装scrapy:pip install scrapy。如果超时,说明网络不行,推荐换个网速快的网,实在不行可以设置超时时间:

  pip --default-timeout=100 install -U pip

时间: 2024-11-05 17:24:37

Scrapy安装指南(windows)的相关文章

[TimLinux] scrapy 在Windows平台的安装

1. 安装Python 这个不去细说,官网直接下载,安装即可,我自己选择的版本是 Python 3.6.5 x86_64bit windows版本. 2. 配置PATH 我用的windows 10系统,操作步骤,'此电脑' 上鼠标右键,选择 '属性', 在弹出的面板中,选择 '高级系统设置', 新窗口中点击 '高级' 标签页,然后点击 '环境变量', 在用户环境变量中,选中 path(没有就添加),然后把:C:\Python365\Scripts;C:\Python365;添加到该变量值中即可.

Learning Scrapy:《精通Python爬虫框架Scrapy》Windows环境搭建

之前用爬虫抓点数据的时候基本上就是urllib3+BeautifulSoup4,后来又加入requests,大部分情况就够用了.但是最近心血来潮想学一下Scrapy,于是找了本书——<精通Python爬虫框架Scrapy>.内容算是比较可以的,但是按书中附录搭建环境着实折腾了一点时间,于是想把碰到的问题总结一下,让大家也少走点弯路. 进入正题之前,有几点要说明一下: 安装这个环境有什么用?这个环境就是一个服务器,有需要你抓的网站,不会因现实中的网站改版而造成代码失效,书中测试代码的网站基本上都

python3.7 Scrapy在Windows平台的安装

1.安装python并配置好环境变量 2.更新pip ,这步操作时遇到了问题,更新超时了,所以加上--default-timeout来解决超时问题:python -m pip --default-timeout=100 install --upgrade pip 3.安装lxml :pip intsall lxml 4.安装wheel: pip install wheel 5.在python lib网站上以下安装包,然后使用pip install xxx 安装: Twisted-18.9.0-c

JDK1.5-JDK10 安装指南(windows)

自从jdk9版本后,JDK的目录结构就发生变化,去除原有的jre目录.下面以JDK9作为分界线,分别JDK9版本前的配置,和JDK9版本后的配置.(安装过程省略) 公共部分计算机-->属性-->高级系统设置-->高级-->环境变量 JDK9以后版本(9-10) JAVA_HOME D:\Java\jdk-10 JRE_HOME D:\Java\jre10 PATH .;%JAVA_HOME%\bin;%JRE_HOME%\bin CLASSPATH .;%JAVA_HOME%\li

Python爬虫框架Scrapy安装使用步骤

一.爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步网络库来处理网络通讯,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片. 二.Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>

python pip命令的安装与实验安装scrapy

大家在使用python时候,很多时候导入模块都会发现该模块不存在,那么我们就需要下载安装,可是有时候安装会出现各种问题,大家回去请教别人,大部分程序员会回答你:pip install 什么等,可是你pip install 什么发现没有该命令,这是怎么回事呢?因为告诉你的人从来没有考虑过你是否装pip命令.下面小编就说小怎么用pip安装Scray: 假设你安装好了下面东西 Python 2.7 Python Package: pip and setuptools. 现在 pip 依赖 setupt

Python之Scrapy爬虫框架安装及简单使用

题记:早已听闻python爬虫框架的大名.近些天学习了下其中的Scrapy爬虫框架,将自己理解的跟大家分享.有表述不当之处,望大神们斧正. 一.初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. 本文档将

scrapy3_ 安装指南

安装指南 安装Scrapy 注解 请先阅读 平台安装指南. 下列的安装步骤假定您已经安装好下列程序: Python 2.7 Python Package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools . lxml. 大多数Linux发行版自带了lxml.如果缺失,请查看http://lxml.de/installation.html OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经

Windows Server AppFabric 安装文档

安装指南 入门标题页 3 Windows Server AppFabric 安装和配置指南 3 版权 3 版权所有 3 简介 3 清单:规划安装 4 硬件要求 4 使计算机作好安装准备 5 本节内容 5 安装关键的 Windows 更新 5 安装 Windows 更新 6 安装修补程序 6 KB980423 6 安装 .NET Framework 6 安装 Windows PowerShell 2.0 7 为缓存服务配置设置准备共享网络文件夹 8 安装和配置 Windows Server App