Scrapy安装方法

Scrapy安装在Python2.7环境下

1、配置环境变量:

2、安装基础软件 4个(64位系统)

安装twisted:

C:\Users\Administrator>pip  install  -i  https://pypi.doubanio.com/simple/  --trusted-host pypi.doubanio.com twisted==13.1.0

twisted版本不能太高,装最新17版的会无故报错,很无语!

3、安装scrapy

C:\Users\Administrator>pip  install  -i  https://pypi.doubanio.com/simple/  --trusted-host pypi.doubanio.com Scrapy

验证:C:\Users\Administrator>Scrapy

图示标识安装成功!

4、查看scrapy组件信息:

命令行:scrapy version -v

基础命令:输入的格式 scrapy+命令

help:scrapy的基本命令,用于查看帮助信息。

version:查看版本信息,可见-v参数查看各组件的版本信息;

startproject name:用于新建一个工程

genspider name :新建一个爬虫

list:列出工程中都有那些spider

view: +url 查看也页面源码在浏览器中显示的样子

parse:+url 解析页面的指定函数

shell:+url 一个非常有用的命令,可用于调试数据、检测xpath、查看页面源码,等等。

runspider:运行自包含的爬虫

bench:执行一个基准测试;可用来检测scrapy是否安装成功;

另外一种快捷安装方法:

安装anaconda数据挖掘平台

进入anaconda 下载需要的对应Python版本和操作系统的anaconda

安装好后,进入它的shell环境

输入命令:conda install -c sprapinghub scrapy

进入对应的Python版本环境中,

import scrapy,可看到scrapy安装成功!

时间: 2024-10-09 23:57:19

Scrapy安装方法的相关文章

virtualenv简介以及一个比较折腾的scrapy安装方法

本文来自网易云社区 作者:沈高峰 virtualenv + pip 安装python软件包是一种非常好的选择,在大部分情况下安装python软件包是不需要求助于sa的. 使用自己的一个工作副本也是写python的一个好习惯. 基本使用方式有下面几步: 1.先准备好virtualenv的环境 mkdir ~/dev virturalenv ~/dev 2.激活一下当前的virtualenv source ~/dev/bin/activate 3.然后就可以用pip安装软件包了,所有软件包都会安装在

scrapy 安装问题解决方法

1)在python3.6上 使用python -m pip install scrapy 安装时,出现如下错误: Microsoft Visual C++ 14.0 is required 2)根据搜索,先需要下载twisted 包,安装成功后,再安装scrapy 安装Twisted包来进一步安装Scrapy. 1.首先打开https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted,找到对应版本的Twisted并下载到你的文件夹.此例为Twisted?

windows下scrapy安装

C:\users\XXXX>easy_install scrapy 出现错误 fatal error C1083: Cannot open include file: 'openssl/aes.h' : No such file or directory.才想起scrapy主页Installation Guide中有Pre-requisites,是需要事先安装openssl.在主页给定的链接中选了Win32OpenSSL-0.9.8za 下载,老版本可能兼容好些,应该都无所谓.但安装openss

Python爬虫框架Scrapy安装使用步骤

一.爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步网络库来处理网络通讯,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片. 二.Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>

Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫)

Scrapy在window上的安装教程见下面的链接:Scrapy安装教程 上述安装教程已实践,可行.本来打算在ubuntu上安装Scrapy的,但是Ubuntu 磁盘空间太少了,还没扩展磁盘空间,暂时不想再上面装太多软件. Scrapy的入门教程见下面链接:Scrapy入门教程 上面的入门教程是很基础的,先跟着作者走一遍,要动起来哟,不要只是阅读上面的那篇入门教程,下面我简单总结一下Scrapy爬虫过程: 1.在Item中定义自己要抓取的数据: movie_name就像是字典中的“键”,爬到的数

python Scrapy安装

python Scrapy安装和介绍 Windows7下安装1.执行easy_install Scrapy Centos6.5下安装 1.库文件安装yum install libxslt-devel libxml2-devel 2.将系统自带python2.6的easy_install备份,使用python2.7.10升级后的easy_install mv /usr/bin/easy_install /usr/bin/easy_install_2.6 ln -s /usr/local/pytho

Scrapy安装的那些事

收录待用,修改转载已取得腾讯云授权 Scrapy安装介绍 Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上.下面说明Python3环境下的安装过程. Scrapy依赖的库比较多,至少需要依赖库有Twisted 14.0,lxml 3.4,pyOpenSSL 0.14.而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是Windows. 腾讯云有Windows.Linux多个版本系统,在这里分别介绍. 各平台安装简介 Anaco

scrapy 安装出错 [err2] no such file or directory: &#39;README.rst&#39;【已解决】

背景:pip安装一直不成功,很多模块用pip安装都不行,只好到github下载zip安装 c:\Document and settings\> python e:\scrapy-0.24\setup.py install 结果失败,提示 [err2] no such file or directory: 'README.rst', 百度到了一个解决方法:cd 到setup.py 所在的目录再安装 e:\scrapy-0.24> python setup.py install 前面都跑的很欢快,

Python实用工具包Scrapy安装教程

   对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具.今天安装之后觉得Scrapy的安装确实不易啊.所以在此博文一篇,往后来着少走弯路. 废话不多说了,如果你还不知道Scrapy是何物,可登陆在其官网http://scrapy.org/一览究竟,在此不再赘述. scrapy在国内目前使用的人比较少,除了他比较新以外,还在于他本身还有很多弊端,比如:需要的支持包比较多,这些支持包相互之间的依赖关系,导致人们在安装他的时候各种吐血,而且吐血了还不一定又正确