记windows下安装scrapy的艰辛

昨天想装一个scrapy来玩玩，然后我找了文档看，一个一个安装依赖

Python√

setuptools√

以下都是用easy_install进行安装的

Zope.Interface√

Twisted

出现问题，下载不了，于是我到官网找了个包下载安装

w3lib√

libxml2找不到

lxml代替之√

pyOpenSSL√

scrapy√

到这里我以为就装好了，真是太天真了，其实还有一个依赖的cryptography没有安装

好吧然后我easy_install cryptography，提示错误distutils.errors.DistutilsError: Setup script exited with error: Unable
to find vcvarsall.bat

我就试试直接把cryptography下载下来 python setup.py install ，同样提示错误

上网查原因

度娘说：

第一种：
首先安装MinGW；
把MinGW的路径添加到环境变量path中，比如MinGW安装在D:\MinGW\中，就把D:\MinGW\bin添加到path中；
打开命令行窗口，在命令行窗口中进入到要安装代码的目录下；
输入如下命令就可以安装了。setup.py install build --compiler=mingw32 

第二种：

1、到http://www.microsoft.com/express/Downloads/#2008-Visual-CPP去下载visual c++ 2008 express edition
2、然后安装，之后再重新python setup.py install就好了
这个应该是个通用的方法，假如你在安装其他库的时候也遇到 Unable to find vcvarsall.bat错误的时候，应该也可以解决
注意：不要下载2010，我也不知道为什么，反正别人说的好像是2010不行
另外：如果你在安装的时候遇到mc.exe error，那么你需要把C:\Program Files\Microsoft SDKs\Windows\v7.0A\bin添加到你的path变量中

试之 依然不行

于是打开Lib/distutils目录下msvc9compiler.py文件看

发现它找不到vcvarsall.bat可能是因为VS版本比较高

那我直接告诉它路径吧 经查找 vcvarsall.bat在 D:\Program Files (x86)\Microsoft Visual Studio 14.0\VC下

在254行插入：    productdir = "D:\Program Files (x86)\Microsoft Visual Studio 14.0\VC"

再进行安装 这次还是报错:cffi.ffiplatform.VerificationError: CompileError: command ‘D:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\BIN\\amd64\\cl.exe‘ failed with exit status 2

实在不行 试着用pip装 神奇地装上了...装上了...装上了...

总结:以后装东西要用pip 最好还是不要用直接setup和easy_install 之前用easy_install用多了习惯了



				


				
时间： 2024-10-13 00:01:26 

		


		


	

	
	

		


		
记windows下安装scrapy的艰辛的相关文章


								

		

			

                windows下安装Scrapy
			

		

		

									

				前言 最近有一个爬虫的需求,其实之前也玩过一点,但是都只是止步于会用工具的程度,接下来准备深入系统学习一下python爬虫. 谈到python爬虫,不能不提的就是大名鼎鼎的scrapy爬虫框架.不过,如果只是入门的话,我建议没有必要过早的接触框架类的东西,尽量使用一些简单的工具库,会比较有助于你理解爬虫的原理. 只是我个人习惯,安装python之后就一定要把scrapy一起安装了,因为总觉得我迟早会用到它,所以先装着无妨. 之前安装scrapy时都是一路坎坷,没有那么容易,特别是在windows			

		

	

				

		

			

                python应用：爬虫框架Scrapy系统学习第二篇——windows下安装scrapy
			

		

		

									

				windows下安装scrapy 依次执行下列操作: pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时,安装Microsoft Visual C++ Compiler for Python 2.7 下载地址:https://www.microsoft.com/en-us/download/confirmat			

		

	

				

		

			

                windows下安装Scrapy及scrapy模块介绍
			

		

		

									

				一:安装wheel  wheel介绍 二:安装twisted twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用.Twisted介绍 三:创建scrapy文件 使用命令窗口进入目标目录后 使用命令 scrapy startproject project_name 工程目录结构如图 四:启动爬虫程序 scrapy crawl first --nolog #启动时,不输出日志文件 scrapy crawl			

		

	

				

		

			

                Python3下安装Scrapy
			

		

		

									

				在windows下安装Scrapy的错误挺多的, 我将我安装成功的步骤发出来,供更多的人参考. 首先,直接进入Scrapy网站的文档Installation guide下的 Installing Scrapy下: https://doc.scrapy.org/en/1.2/intro/install.html 可以看到安装Scrapy所依赖的包. parsel, w3lib, cryptography, pyOpenSSL这些可以直接使用pip命令安装.如: pip install parsel			

		

	

				

		

			

                windows下安装python和依赖包的利器——Anaconda
			

		

		

									

				在windows下安装python和很多依赖包,安装起来略为痛苦,可以使用python的大整合包——Anaconda Anaconda下载地址: http://continuum.io/downloads 下载好后,直接双击安装就OK了,连环境变量Path都不用自己设,方便快捷.最方便的一点是,它整合了大量的依赖包,下面是它所包含的全部依赖包: http://docs.continuum.io/anaconda/pkg-docs.html 其中比如科学计算的numpy, theano等都应有尽有			

		

	

				

		

			

                windows如何安装scrapy
			

		

		

									

				第一次写博客,有不好的地方请理解! 在linux下安装scrapy几行命令就搞定了,windows就是事多! 话不多说,我们直接进入主题: 1. 下载python.地址 https://www.python.org/ ,你可能会很犹豫是下载python3,还是python2.不用犹豫,直接下载python,因为scrapy只支持python2 !!! (见下图) 2.配置环境变量. 这里需要添加两个路径,一个是python路径,一个是scripts路径,以便使用pip,easy_install等			

		

	

				

		

			

                windows下安装Virtualenvwrapper
			

		

		

									

				windows下安装Virtualenvwrapper 我们可以使用Virtualenvwrapper来方便地管理python虚拟环境,但是在windows上安装的时候.....直接 install virtualenvwrapper 是不行的... 要安装virtualenvwrapper-win  直接开始说步骤吧 1.打开cmd,输入: pip install virtualenvwrapper-win 2.新建虚拟环境 使用以下命令创建名为test10的虚拟环境 mkvirtualenv			

		

	

				

		

			

                MySQL8.0 zip压缩包版本 Windows下安装
			

		

		

									

				MySQL zip压缩包版本 Windows下安装 Download MySQL Community Server 解压到相应的目录 我的解压目录:D:\Program Files\mysql-8.0.17-winx64 创建MySQL配置文件 在解压的文件价下创建my.ini文件:编辑my.ini配置以下基本信息: [client] # Set the mysql client default character set default-character-set=utf8 [mysqld]			

		

	

				

		

			

                Python学习笔记（三）windows下安装theano
			

		

		

									

				早就听说theano很难安装,这一次算是初步尝试,不知道会不会有其它问题. 0 参考材料 (1)win 8.1 64bit 深度学习theano 安装设置 (2)Windows下安装theano成功,但一import就报decode错是什么原因? (3)Wndows8.1 64bit环境下搭建深度学习平台之Theano安装配置 (4)deep learning学习环境Theano安装(win8+win7) 1 简单记录过程 (1)安装anaconda:Download Anaconda now!