Scrapy安装在Python2.7环境下
1、配置环境变量:
2、安装基础软件 4个(64位系统)
安装twisted:
C:\Users\Administrator>pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com twisted==13.1.0
twisted版本不能太高,装最新17版的会无故报错,很无语!
3、安装scrapy
C:\Users\Administrator>pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com Scrapy
验证:C:\Users\Administrator>Scrapy
图示标识安装成功!
4、查看scrapy组件信息:
命令行:scrapy version -v
基础命令:输入的格式 scrapy+命令
help:scrapy的基本命令,用于查看帮助信息。
version:查看版本信息,可见-v参数查看各组件的版本信息;
startproject name:用于新建一个工程
genspider name :新建一个爬虫
list:列出工程中都有那些spider
view: +url 查看也页面源码在浏览器中显示的样子
parse:+url 解析页面的指定函数
shell:+url 一个非常有用的命令,可用于调试数据、检测xpath、查看页面源码,等等。
runspider:运行自包含的爬虫
bench:执行一个基准测试;可用来检测scrapy是否安装成功;
另外一种快捷安装方法:
安装anaconda数据挖掘平台
进入anaconda 下载需要的对应Python版本和操作系统的anaconda
安装好后,进入它的shell环境
输入命令:conda install -c sprapinghub scrapy
进入对应的Python版本环境中,
import scrapy,可看到scrapy安装成功!