windows下安装和使用scrapy

  首先,要确保已经正确安装了python环境,并安装了pip包

  接着,打开cmd或者powershell ,输入命令 pip install scrapy 。安装完之后 运行scrapy性能测试命令: scrapy bench 。此时可能出现“import win32api,ImportError: DLL load failed: 找不到指定的模块。”的错误。这应该是没有安装 pywin32包。使用pip 安装好pywin32之后,将pywin32安装目录pywin32_system32下的所有dll文件拷贝到系统的system32 目录中。

  最后,应该可以成功运行scrapy程序了。

原文地址:https://www.cnblogs.com/qianlicao/p/8397532.html

时间: 2024-11-01 22:16:42

windows下安装和使用scrapy的相关文章

windows下安装Scrapy

前言 最近有一个爬虫的需求,其实之前也玩过一点,但是都只是止步于会用工具的程度,接下来准备深入系统学习一下python爬虫. 谈到python爬虫,不能不提的就是大名鼎鼎的scrapy爬虫框架.不过,如果只是入门的话,我建议没有必要过早的接触框架类的东西,尽量使用一些简单的工具库,会比较有助于你理解爬虫的原理. 只是我个人习惯,安装python之后就一定要把scrapy一起安装了,因为总觉得我迟早会用到它,所以先装着无妨. 之前安装scrapy时都是一路坎坷,没有那么容易,特别是在windows

python应用:爬虫框架Scrapy系统学习第二篇——windows下安装scrapy

windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时,安装Microsoft Visual C++ Compiler for Python 2.7 下载地址:https://www.microsoft.com/en-us/download/confirmat

windows下安装python和依赖包的利器——Anaconda

在windows下安装python和很多依赖包,安装起来略为痛苦,可以使用python的大整合包——Anaconda Anaconda下载地址: http://continuum.io/downloads 下载好后,直接双击安装就OK了,连环境变量Path都不用自己设,方便快捷.最方便的一点是,它整合了大量的依赖包,下面是它所包含的全部依赖包: http://docs.continuum.io/anaconda/pkg-docs.html 其中比如科学计算的numpy, theano等都应有尽有

Python学习笔记(三)windows下安装theano

早就听说theano很难安装,这一次算是初步尝试,不知道会不会有其它问题. 0 参考材料 (1)win 8.1 64bit 深度学习theano 安装设置 (2)Windows下安装theano成功,但一import就报decode错是什么原因? (3)Wndows8.1 64bit环境下搭建深度学习平台之Theano安装配置 (4)deep learning学习环境Theano安装(win8+win7) 1 简单记录过程 (1)安装anaconda:Download Anaconda now!

windows下安装redis

1.redis简介redis是一个key-value存储系统.和Memcached类似,它支持存 储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hashs(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都 是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是red

在 Windows 下安装 GruntJS

在你安装 Grunt.js 之前你需要先安装 Node.js.对于本教程而言,我已经安装好了 node.js v0.10.0. 我将要安装 Grunt.js v0.4.1.警告:如果你已经安装了 Grunt.js 0.3.x 或者更低的版本,请先卸载它. Grunt 的命令行界面 为了安装 grunt.js,我们需要要安装好全局的 Grunt 命令行界面(CLI),当前的 CLI 版本是 1.0.6.打开 Windows 命令窗口(CMD)并输入以下指令: npm install grunt-c

在windows下安装OpenDaylight的Helium(氦)版本

前言 OpenDaylight(以下简写为ODL)的Helium(氦)版本已经成为相对稳定的版本(相对于Li版本).Helium(氦)版本下载链接地址为http://www.opendaylight.org/software/downloads/helium.官网中分别共享了版本.安装向导.用户向导.开发者向导手册,可进行下载学习.在本篇文章中,着重讲一下在Windows下的安装过程. 1 Helium安装 虽然官方要求ODL Helium(氦)版本是基于Ubuntu的,但是在实际学习过程中,U

Windows下安装使用curl命令

本机环境 Windows 7 方法/步骤 1.进入网站 https://curl.haxx.se/download/?C=M;O=D网站 2.根据自己的操作系统位数和是否需要SSL下载相应的版本. 这里下载curl-7.33.0-win64-ssl-sspi.zip,下载完成之后解压到需要使用curl命令的目录.这里为了方便我先直接解压到当前目录. 3.在本窗口下打开运行该命令 [没有建立系统环境变量,所以只能在本目录下运行],检测是否可以正常运行 注意: 想得到上面的"在此处打开命令窗口(W)

windows下安装imagick扩展(转)

最近项目中需要用到图片的一些特殊处理——比如:根据用户请求生成任意尺寸的图像.经过一些资料的查找,最终选用了php_imagick.利用 ImageMagick,你可以根据web应用程序的需要动态生成图片, 还可以对一个(或一组)图片进行改变大小.旋转.锐化.减色或增加特效等操作,并将操作的结果以相同格式或其它格式保存.本节我们就来介绍一下如何在 windows下安装php_imagick拓展. 1. 下载 Download ImageMagick #下载页面: http://www.image