安装 python 爬虫框架 Scrapy

官方安装说明文档:https://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy

一、scrapy 需要以下依赖

二、一般来说,你可以通过以下命令直接安装 Scrapy(依赖会被自动安装)

pip3 install scrapy

注:关于pip 和 pip3 的区别,请看 这里

三、一个常见的问题是:安装 twisted 时,会报 “Microsoft visual c++ 14.0 is required” 错误

解决办法有两个:

1、老老实实安装 Visual C++ Build Tools 2015 套件,套件比较大(大概4G),安装时间比较久,传送门:Visual C++ Build Tools 2015

2、用安装 whl 文件的方式安装 Twisted

打开:https://www.lfd.uci.edu/~gohlke/pythonlibs/,crtl + f 查找 twisted,选择适合自己的版本下载

注:这个网站打开有点慢,FQ的话,会好一点

四、进入 Twisted 的下载目录,shift + 鼠标右键,选择 “在此处打开 Powershell 窗口”,执行以下命令,安装 Twisted

pip3 install Twisted-19.2.1-cp37-cp37m-win32.whl

五、正常安装 Scrapy

pip3 install scrapy

六、如遇到其他错误,可以重复以上步骤,使用 whl 文件方式安装 python 扩展

官方:https://pypi.org/

非官方:https://www.lfd.uci.edu/~gohlke/pythonlibs/



本文链接:https://www.cnblogs.com/tujia/p/11169180.html

原文地址:https://www.cnblogs.com/tujia/p/11169180.html

时间: 2024-10-08 04:12:19

安装 python 爬虫框架 Scrapy的相关文章

Linux 安装python爬虫框架 scrapy

Linux 安装python爬虫框架 scrapy http://scrapy.org/ Scrapy是python最好用的一个爬虫框架.要求: python2.7.x. 1. Ubuntu14.04 1.1 测试是否已经安装pip # pip --version 如果没有pip,安装: # sudo apt-get install python-pip 1.2 然后安装scrapy Import the GPG key used to sign Scrapy packages into APT

win环境安装python爬虫框架scrapy

#官网下载python for windows #https://www.python.org/downloads/ #安装后在“计算机->属性->高级系统设置->环境变量->系统变量 ” #在系统变量里找到PATH,双击PATH,在结尾加上 #E:\Users\username\AppData\Local\Programs\Python\Python35-32; #E:\Users\username\AppData\Local\Programs\Python\Python35-3

centos6.3 安装python爬虫框架scrapy

scrapy安装脚本 # ###### install dependent package and development-lib ####### yum  -y install gcc zlib zlib-devel openssl openssl-devel bzip* libxml2* libxslt* libffi-devel libffi ####### install python-2.7.7 wget 'https://www.python.org/ftp/python/2.7.7

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

欢迎加入Python学习交流群:535993938  禁止闲聊 ! 名额有限 ! 非喜勿进 ! 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于

【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于它是一个框架,任何人都可

Learning Scrapy:《精通Python爬虫框架Scrapy》Windows环境搭建

之前用爬虫抓点数据的时候基本上就是urllib3+BeautifulSoup4,后来又加入requests,大部分情况就够用了.但是最近心血来潮想学一下Scrapy,于是找了本书——<精通Python爬虫框架Scrapy>.内容算是比较可以的,但是按书中附录搭建环境着实折腾了一点时间,于是想把碰到的问题总结一下,让大家也少走点弯路. 进入正题之前,有几点要说明一下: 安装这个环境有什么用?这个环境就是一个服务器,有需要你抓的网站,不会因现实中的网站改版而造成代码失效,书中测试代码的网站基本上都

Python爬虫框架Scrapy教程(1)—入门

最近实验室的项目中有一个需求是这样的,需要爬取若干个(数目不小)网站发布的文章元数据(标题.时间.正文等).问题是这些网站都很老旧和小众,当然也不可能遵守 Microdata这类标准.这时候所有网页共用一套默认规则无法保证正确抓取到信息,而每个网页写一份spider代码也不切实际. 这时候,我迫切地希望能有一个框架可以通过只写一份spider代码和维护多个网站的爬取规则,就能自动抓取这些网站的信息,很庆幸 Scrapy 可以做到这点.鉴于国内外关于这方面资料太少,所以我将这段时间来的经验和代码分

教你分分钟学会用python爬虫框架Scrapy爬取你想要的内容

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 python爬虫学习课程,下载地址:https://pan.baidu.com/s/1v6ik6YKhmqrqTCICmuceug 课程代码原件:课程视频: 原文地址:http://blog.51cto.com/aino007/2123341

分享《精通Python爬虫框架Scrapy》中文PDF+英文PDF+源代码

下载:https://pan.baidu.com/s/13tFIFOhDM8PG9pFUuA8M2g 更多分享资料:https://www.cnblogs.com/javapythonstudy/ <精通Python爬虫框架Scrapy>中文PDF+英文PDF+源代码 中文版PDF,364页,带目录和书签,文字可以复制粘贴,彩色配图:英文版PDF,270页,带目录和书签,文字可以复制粘贴,彩色配图:中英文两版对比学习.配套源代码. 其中,中文版如图: 原文地址:https://www.cnbl