安装scrapy 爬虫环境的一些体会

1.安装python2.7

安装的时候注意把pip 也安装上,最好选中安装全部

2.更新pip   命令是:pip install -U pip  更新其他包也是如此

3.

pip install lxml

pip install zope.interface

pip install  Twisted 对应32位的  如果pip 安装不了就百度下搜索一下直接安装吧 ,....就点击下一步完成....

pip install  pyOpenSSL   这个包我有重装过一次 好像是安装不完整被我卸载的了  卸载用 pip uninstall  包名

pip install pywin32 (219)  我这个是手动安装的....pip 找不到

4. 然后pip install scrapy   检测是否成功,在python 环境下调用一下试试 输入:import scropy

  如果成功就顺利的出现下一行,如果失败会提示 找不到这个包

5.这是我安装的包   安装 pyOpenSSL 这个包的时候会顺带安装很多包,我也没注意看,需要什么就安装什么。

attrs (16.0.0)
cffi (1.6.0)
cryptography (1.4)
cssselect (0.9.1)
enum34 (1.1.6)
idna (2.1)
ipaddress (1.0.16)
lxml (3.6.0)
MySQL-python (1.2.3)
parsel (1.0.2)
pip (8.1.2)
pyasn1 (0.1.9)
pyasn1-modules (0.0.8)
pycparser (2.14)
PyDispatcher (2.0.5)
pyOpenSSL (16.0.0)
pywin32 (219)
queuelib (1.4.2)
Scrapy (1.1.0)
service-identity (16.0.0)
setuptools (22.0.5)
six (1.10.0)
Twisted (16.2.0)
w3lib (1.14.2)
zope.interface (4.1.3)

我的第一篇博客.................

注意

其实出现错误 cmd 都有提示  不懂就复制一下到 百度翻译一下就知道大概了, 这里推荐一款可以复制文字的cmd

  ==> PowerCmd

时间: 2025-01-06 02:01:11

安装scrapy 爬虫环境的一些体会的相关文章

win7中python3.4下安装scrapy爬虫框架(亲测可用)

貌似最新的scrapy已经支持python3,但是错误挺多的,以下为在win7中的安装步骤: 1.首先需要安装Scrapy的依赖包,包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml 其中,twisted和lxml的安装包可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的安装包(我的是win64,python34) pip install Twisted-17.1.0-cp34-cp34m-

ubuntu下安装scrapy爬虫框架

Scrapinghub 发布的apt-get可获取版本通常比Ubuntu里更新,并且在比 Github 仓库 (master & stable branches) 稳定的同时还包括了最新的漏洞修复. 1.把Scrapy签名的GPG密钥添加到APT的钥匙环中: sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7 2.执行如下命令,创建 /etc/apt/sources.list.d/scrapy.li

ubuntu安装scrapy方法

sudo apt-get install python-dev   [默认安装python2] sudo apt-get install python3-dev   [指定安装python3最新的] [安装一下依赖] sudo apt-get install build-essentialsudo apt-get install libxml2-devsudo apt-get install libxslt1-devsudo apt-get install python-setuptools -

win环境安装python爬虫框架scrapy

#官网下载python for windows #https://www.python.org/downloads/ #安装后在“计算机->属性->高级系统设置->环境变量->系统变量 ” #在系统变量里找到PATH,双击PATH,在结尾加上 #E:\Users\username\AppData\Local\Programs\Python\Python35-32; #E:\Users\username\AppData\Local\Programs\Python\Python35-3

利用Anaconda进行python爬虫环境的配置-安装scrapy

1.下载Anaconda,下载地址:https://www.continuum.io/downloads 2.安装anaconda. 3.安装scrapy

安装python爬虫scrapy踩过的那些坑和编程外的思考

这些天应朋友的要求抓取某个论坛帖子的信息,网上搜索了一下开源的爬虫资料,看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用.但是以前一直用的java和php,对python不熟悉,于是花一天时间粗略了解了一遍python的基础知识.然后就开干了,没想到的配置一个运行环境就花了我一天时间.下面记录下安装和配置scrapy踩过的那些坑吧. 运行环境:CentOS 6.0 虚拟机 开始上来先得安装python运行环境.然而我运行了一下python命令,发现已经自带了,窃(大)喜(坑).于是go

Scrapy安装、爬虫入门教程、爬虫实例(豆瓣电影爬虫)

Scrapy在window上的安装教程见下面的链接:Scrapy安装教程 上述安装教程已实践,可行.本来打算在ubuntu上安装Scrapy的,但是Ubuntu 磁盘空间太少了,还没扩展磁盘空间,暂时不想再上面装太多软件. Scrapy的入门教程见下面链接:Scrapy入门教程 上面的入门教程是很基础的,先跟着作者走一遍,要动起来哟,不要只是阅读上面的那篇入门教程,下面我简单总结一下Scrapy爬虫过程: 1.在Item中定义自己要抓取的数据: movie_name就像是字典中的“键”,爬到的数

Python之Scrapy爬虫框架安装及简单使用

题记:早已听闻python爬虫框架的大名.近些天学习了下其中的Scrapy爬虫框架,将自己理解的跟大家分享.有表述不当之处,望大神们斧正. 一.初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. 本文档将

python3下scrapy爬虫(第一卷:安装问题)

一般爬虫都是用urllib包,requests包 配合正则.beautifulsoup等包混合使用,达到爬虫效果,不过有框架谁还用原生啊,现在我们来谈谈SCRAPY框架爬虫, 现在python3的兼容性上来了,SCRAPY不光支持python2版本了,有新的不用旧的,现在说一下让很多人望而止步的安装问题,很多人开始都安装不明白, 当前使用的版本是PYTHON3.5,安装时用PIP3 安装步骤: 1 安装wheel pip3 install wheel 2 安装twisted pip3 insta