爬虫6:Scrapy的安装与配置(win8 + python2.7.12)

我的系统是Win8

Python的版本是2.7.12

Scrapy需要依赖的包很多,所以之前在网上看教程的时候,很多教程总是说先安装啥,再安装啥,其实最终就是一句

pip install scrapy

就可以解决了,因为pip会自动去下载需要的包依赖

我主要是想讲我在配置途中遇到的一些问题

第一个问题

pip install scrapy过程中报Microsoft Visual C++ 9.0 is required < Unable to find vcvarsall.bat>的错误

解决办法是:下载Microsoft Visual C++ Compiler for Python 2.7

http://www.microsoft.com/en-us/download/details.aspx?id=44266

安装好后,就能顺利安装了

第二个问题

安装好后,进入dos窗口,用命令创建工程 scrapy startproject tutorial

提示‘scrapy‘ 不是内部或外部命令

这个其实是环境变量配置的问题

右键计算机-高级系统设置-高级-环境变量-系统变量-Path-编辑-C:\Python27;C:\Python27\Scripts;

注意:这里是需要填入python的安装目录,因为我装在C盘,所以填入C盘目录,用分号隔开

然后重新运行,就创建好啦

时间: 2024-10-06 01:09:49

爬虫6:Scrapy的安装与配置(win8 + python2.7.12)的相关文章

Python 爬虫6——Scrapy的安装和使用

前面我们简述了使用Python自带的urllib和urllib2库完成的一下爬取网页数据的操作,但其实能完成的功能都很简单,假如要进行复制的数据匹配和高效的操作,可以引入第三方的框架,例如Scrapy便是比较常用的爬虫框架. 一.Scrapy的安装: 1.最简单的安装方式:         根据官方主页的指导:http://www.scrapy.org/ 使用pip来安装python相关插件其实都很简单,当然用这个办法安装Scrapy也是最为简单的安装方式,仅需在命令行窗口输入: pip ins

python爬虫入门-Scrapy的安装

下载集成包 链接:http://pan.baidu.com/s/1pKD2zBP 密码:f75b 因为没有支持python3的Scrapy,所以这里采用python2.7.9 安装步骤:1.安装python2.7(默认安装即可) 2.打开"运行",输入cmd.执行以下命令设置环境变量 C:\Python27\python.exe C:\Python27\tools\Scripts\win_add2path.py 3.检查是否安装成功,cmd下执行 python --version 4.

怎么在32位windows系统上搭建爬虫框架scrapy?

禁止转载: 自学python,然后搭建爬虫框架scrapy.费了我一上午的心血.终于搭建成功,以防以后忘记搭建流程,特此撰写此贴,开写 *************************************************************************************************************** 首先安装python,我安装的是python2.7.12,安装在F:\python2.7.12,资源自行下载.由于在安装python的时候,

MongoDB 安装与配置--Win10

MongoDB 安装与配置--Win10 2017年12月31日 17:17:39 阅读数:2403 1. 下载 下载链接:https://www.mongodb.com/download-center?jmp=nav#community 1 2. 安装 按提示安装即可 1. Complete:完整安装 2. Custom:自定义安装,可选择安装路径和安装组件 1 2 3 3. 配置 1. 安装完的目录结构 [C:\Program Files\MongoDB\Server\3.6] 1 2. 在

RHEL安装python2.7.12

一.下载python安装包 二.上传python安装包文件到linux操作系统 三.解压缩包 四.配置.编译和安装 五.检测和设置环境变量 一.下载python安装包 输入python网址https://www.python.org/,然后[Downloads] 跳出界面后,选择[Linux/UNIX] 然后选择[python 2.7.12]==>[Download Gzipped source tarball]==>然后下载到本 https://www.python.org/ftp/pyth

Centos6.5安装python2.7.12,pip9.0.1及其注意事项

一:python2.7.12安装 1:获取python2.7.12 wget https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz 2:确保安装gcc zlib zlib-devel python-devel libffi-devel openssl openssl-devel如果没有请使用yum安装 gcc zlib zlib-devel python-devel libffi-devel openssl openssl-deve

Python爬虫进阶三之Scrapy框架安装配置

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同. 官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程. 1.安装Python 安装过程我就不多说啦,我的电

Python爬虫进阶之Scrapy框架安装配置

Python爬虫进阶之Scrapy框架安装配置 初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同. 官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程. 1

芝麻HTTP:Python爬虫进阶之Scrapy框架安装配置

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同. 官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程. 1.安装Python 安装过程我就不多说啦,我的电