windows下安装Scrapy

前言

最近有一个爬虫的需求,其实之前也玩过一点,但是都只是止步于会用工具的程度,接下来准备深入系统学习一下python爬虫。

谈到python爬虫,不能不提的就是大名鼎鼎的scrapy爬虫框架。不过,如果只是入门的话,我建议没有必要过早的接触框架类的东西,尽量使用一些简单的工具库,会比较有助于你理解爬虫的原理。

只是我个人习惯,安装python之后就一定要把scrapy一起安装了,因为总觉得我迟早会用到它,所以先装着无妨。

之前安装scrapy时都是一路坎坷,没有那么容易,特别是在windows下安装scrapy更是各种各样的问题,不过没想到这次倒是没怎么遇到问题,大概是找到了正确的姿势。

安装步骤

1.安装Python

学习爬虫,最好还是从经典的2.7版本开始,安装过程非常简单,就不赘述了。

随手甩个链接吧: https://www.python.org/downloads/release/python-2712/

2.安装VCForPython27

windows下使用scrapy需要VC2012或者2010,不过为了一个scrapy去安装这么庞大的东西实在是大材小用,因此可以选择一个针对python的版本:VCForPython27

下载地址:https://www.microsoft.com/en-us/download/details.aspx?id=44266

记得安装之后最好重启一下系统

3.安装lxml

安装教程见:http://blog.csdn.net/g1apassz/article/details/46574963

4.最后一步

pip install scrapy 大功告成!

时间: 2024-08-06 11:54:22

windows下安装Scrapy的相关文章

python应用:爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时,安装Microsoft Visual C++ Compiler for Python 2.7 下载地址:https://www.microsoft.com/en-us/download/confirmat

记windows下安装scrapy的艰辛

昨天想装一个scrapy来玩玩,然后我找了文档看,一个一个安装依赖 Python√ setuptools√ 以下都是用easy_install进行安装的 Zope.Interface√ Twisted 出现问题,下载不了,于是我到官网找了个包下载安装 w3lib√ libxml2找不到 lxml代替之√ pyOpenSSL√ scrapy√ 到这里我以为就装好了,真是太天真了,其实还有一个依赖的cryptography没有安装 好吧然后我easy_install cryptography,提示错

windows下安装Scrapy及scrapy模块介绍

一:安装wheel  wheel介绍 二:安装twisted twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用.Twisted介绍 三:创建scrapy文件 使用命令窗口进入目标目录后 使用命令 scrapy startproject project_name 工程目录结构如图 四:启动爬虫程序 scrapy crawl first --nolog #启动时,不输出日志文件 scrapy crawl

Python3下安装Scrapy

在windows下安装Scrapy的错误挺多的, 我将我安装成功的步骤发出来,供更多的人参考. 首先,直接进入Scrapy网站的文档Installation guide下的 Installing Scrapy下: https://doc.scrapy.org/en/1.2/intro/install.html 可以看到安装Scrapy所依赖的包. parsel, w3lib, cryptography, pyOpenSSL这些可以直接使用pip命令安装.如: pip install parsel

windows下安装python和依赖包的利器——Anaconda

在windows下安装python和很多依赖包,安装起来略为痛苦,可以使用python的大整合包——Anaconda Anaconda下载地址: http://continuum.io/downloads 下载好后,直接双击安装就OK了,连环境变量Path都不用自己设,方便快捷.最方便的一点是,它整合了大量的依赖包,下面是它所包含的全部依赖包: http://docs.continuum.io/anaconda/pkg-docs.html 其中比如科学计算的numpy, theano等都应有尽有

windows如何安装scrapy

第一次写博客,有不好的地方请理解! 在linux下安装scrapy几行命令就搞定了,windows就是事多! 话不多说,我们直接进入主题: 1. 下载python.地址 https://www.python.org/ ,你可能会很犹豫是下载python3,还是python2.不用犹豫,直接下载python,因为scrapy只支持python2 !!! (见下图) 2.配置环境变量. 这里需要添加两个路径,一个是python路径,一个是scripts路径,以便使用pip,easy_install等

Python学习笔记(三)windows下安装theano

早就听说theano很难安装,这一次算是初步尝试,不知道会不会有其它问题. 0 参考材料 (1)win 8.1 64bit 深度学习theano 安装设置 (2)Windows下安装theano成功,但一import就报decode错是什么原因? (3)Wndows8.1 64bit环境下搭建深度学习平台之Theano安装配置 (4)deep learning学习环境Theano安装(win8+win7) 1 简单记录过程 (1)安装anaconda:Download Anaconda now!

windows下安装redis

1.redis简介redis是一个key-value存储系统.和Memcached类似,它支持存 储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hashs(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都 是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是red

在 Windows 下安装 GruntJS

在你安装 Grunt.js 之前你需要先安装 Node.js.对于本教程而言,我已经安装好了 node.js v0.10.0. 我将要安装 Grunt.js v0.4.1.警告:如果你已经安装了 Grunt.js 0.3.x 或者更低的版本,请先卸载它. Grunt 的命令行界面 为了安装 grunt.js,我们需要要安装好全局的 Grunt 命令行界面(CLI),当前的 CLI 版本是 1.0.6.打开 Windows 命令窗口(CMD)并输入以下指令: npm install grunt-c