怎么在32位windows系统上搭建爬虫框架scrapy?

禁止转载:

  自学python,然后搭建爬虫框架scrapy。费了我一上午的心血。终于搭建成功,以防以后忘记搭建流程,特此撰写此贴,开写

***************************************************************************************************************

首先安装python,我安装的是python2.7.12,安装在F:\python2.7.12,资源自行下载。由于在安装python的时候,会自动安装pip这个python管理工具,不要管pip的安装.你只要一步步安装就可以了。

接下来就是在cmd中能运行python,所以要进行环境变量的配置:

在path路径中加上:

  ";F:\python2.7.12;F:\python2.7.12\Scripts\"

这是我的path路径:C:\ProgramData\Oracle\Java\javapath;

%SystemRoot%\system32;

%SystemRoot%;

%SystemRoot%\System32\Wbem;

%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;

%JAVA_HOME%\bin;

%CATALINA_HOME%\lib;

E:\mysql-5.6.24-win32\bin;

F:\mongodb2.6.9\bin\;

F:\python2.7.12;

F:\python2.7.12\Scripts\(一定要配置好Scripts)

可以根据自己的安装目录进行配置,不要盲目效仿。配置好以后,打开cmd窗口,输入python,然后就可以获得python的版本号,说明安装成功

那么怎么知道python管理工具pip是否装好,可i以在cmd中输入pip,可以运行说明成功,这一部分可以参考网上很多教程

*********************************************************************************************************

接下来就是爬虫框架scrapy的安装:

1、安装setuptools

打开,cmd窗口,输入pip检查pip是否安装成功,成功后,然后输入:

pip install setuptools

观察cmd窗口,如果出现Successfully installed setuptools说明安装成功。

2、安装lxml

本来以为输入下面这个命令,就能顺利安装成功但是出现了问题:

pip install lxml

这一步,耗费了我一个多小时,安装出现了问题,如:

fatal error: ‘libxml/xmlversion.h‘ file not found

在网上各种找原因,有大神是说没安装libxml2-devel and libxslt-devel,和没有安装 libxml2和 libxslt文件。其实报错原因中也说明了没有安装好 libxml2

各种解决方案,但是找了很久,试了很多种方法,最终我就参考了

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html     

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml(很多python依赖的库资源下载)

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

最后解决了问题,解决步骤如下:

  1)、首先安装wheel,确定安装成功:

pip install wheel

  2)、下载依赖库,可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载

  然后,把下载好的依赖文件放在python的安装包中,我的是放在F:\python2.7.12中

  3)、开始安装lxml

pip install F:\python2.7.12\lxml-3.6.4-cp27-cp27m-win32.whl

  然后就安装成功了

3、安装zope.interface

pip install zope.interface

这一步没有遇到问题

4、安装Twisted

安装Twisted出现了问题:参考文档python2.7安装Twisted报Microsoft Visual C++9.0 required然后解决了

pip install Twisted

5、安装pyOpenSSL

pip install pyOpenSSL

6、安装win32py

这一部卡住了,原来http://www.cnblogs.com/pang1567/p/4168768.html这个帖子,没有win32py这个文件,其实是安装pypiwin32

pip install pypiwin32

7、安装Scrapy

  pip install Scrapy

终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。然后就显示安装成功了

直接在cmd中输入Scrapy回车即可。大功告成了啊。so happy

  

参考贴:

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

http://www.cnblogs.com/pang1567/p/4168768.html

http://stackoverflow.com/questions/26669972/install-pywin32-with-pip-in-windows-7-does-not-work-in-python-3-4-2

python2.7安装Twisted报Microsoft Visual C++9.0 required

时间: 2024-12-29 01:58:23

怎么在32位windows系统上搭建爬虫框架scrapy?的相关文章

32位Windows 系统上 迁移DBMS到64 位Windows 的ArcSDE 方法及注意事项

If you have an existing 32-bit ArcSDE installation, you cannot directly upgrade to a 64-bit installation. If you are running ArcSDE as a 32-bit application connecting to an existing 32-bit database management system (DBMS), but you want to move to a

解决Tomcat6解压版在64位windows系统上无法启动服务的问题

解决Tomcat6解压版在64位windows系统上无法启动服务的问题 由于客户环境为64位windows系统,开发环境一直用32位.tomcat使用6.0.20非安装版.部署时发现在64位系统下,注册服务后无法正常启动服务(直接运行startup.bat可以成功启动tomcat),日志中报错信息为: 引用 [174  javajni.c] [error] %1 不是有效的 Win32 应用程序. [994  prunsrv.c] [error] Failed creating java D:\

2016.8.26 Windows系统上 搭建 Java环境

---恢复内容开始--- 1. 建一个目录 将不同版本的Java环境分类 2. 下载安装程序 因为项目中用的都是1.7  所以并未用1.8版本 x86 指代的32位系统, x64指代64位系统,现在一般都是x64 3. 安装过程中说明 指定安装JDK目录, JRE目录(一般使用默认). 如从未在机器上装java 一般会装 一次jdk 和一次jre JDK: Java Developer's Kit JRE: Java Runtime Environment 为什么会要有两套JRE? 首先 , J

windows系统下搭建suse软件源

一.安装ftp组件 依次打开"控制面板"-"程序和功能"-"打开或关闭Windows功能" 把"Internet信息服务"选项中的"FTP服务器"."WEB管理工具"以及"万维网服务"全部选中,这里需要注意打开选项前面的"+"看看里边的子选项有没有勾选,最后选择"确定",等待安装完成. 二.配置ftp服务器 依次打开"

多功能集成环境在windows服务器上搭建PHP网站案例,在服务器上搭建PHP网站

服务器版本:Windows Server 2008 R2 Enterprise 平时搭建PHP网站,可以在linux服务器上搭建,也可以在windows服务器上搭建,主要看你个人需求了,今天我们演示的是用PHPWAMP绿色集成环境在windows服务器上搭建php网站. 这款PHPWAMP绿色集成环境也属于WAMP套件,大家知道什么是WAMP吧? Windows下的Apache+Mysql+PHP,称为WAMP. WAMP套件其实有很多,就比如wampserver.apmserv.xampp等等

windows系统上安装与使用Android NDK r5

windows系统上安装与使用Android NDK r5  很早就听说了android的NDK应用,只是一直没有时间去研究,今天花了点时间在windows平台搭建了NDK环境,并成功运行了第一个简单的android应用. 一:什么是NDK? NDK 提供了一系列的工具,帮助开发者快速开发C(或C++)的动态库,并能自动将so 和 java 应用一起打包成apk.这些工具对开发者的帮助是巨大的. NDK 集成了交叉编译器,并提供了相应的mk 文件隔离CPU.平台.ABI 等差异,开发人员只需要简

Mongodb安装为32位windows服务

cmd启动mongodb这里就不说了,比较简单. 要想在32位的机器上把mongodb安装为windows服务,就必须开启journal.journal类似于关系数据库的redo.log,由于mongodb认为开启journal比较消耗内存,所以在32位的机器上默认不开启的(64位是默认开启的).下面就以配置文件启动的方式安装mongodb的windows服务. 新建mongod.cfg文件,放在mongodb安装文件的bin目录下,内容如下:journal=truelogpath=D:\mon

在Linux和Windows系统上安装Nginx服务器的教程

在Linux和Windows系统上安装Nginx服务器的教程 ?1.在CentOS系统上安装Nginx 在 CentOS6 版本的 EPEL 源中,已经加入了 nginx 的 rpm 包,不过此 RPM 包版本较低.如果需要更新版本,可以使用官方制作的 rpm 包,或者使用源码包编译安装. 还可以使用一些二次开发功能增强的 nginx 版本,例如淘宝的 Tengine 和 OpenResty 都是不错的选择.1.1 常用编译参数 ??? --prefix=PATH:指定 nginx 的安装目录?

32位windows下Nginx的简单使用及配置

前几天工作中和前端部门的同学配合时遇到一个问题:前端同学调用服务器端接口时,服务器端接口获取不到cookie.项目是前后端分离,服务器端使用spring mvc提供java接口,前端使用nginx做反向代理解决跨域问题,前端框架使用vue. 当时由于对ngix不太了解,只知道前端同学使用nginx做反向代理时,在测试环境配置的是ip+端口号的方式访问接口,于是就误以为是没有通过域名访问接口,所以服务器端接口才获取不到cookie.还理所当然的找前端同学"纠正错误",经过一番排查,最终发