scrapy 参考教程及安装

scrapy 参考教程及安装
环境: win7/10 64bit, python 3.6.x
教程: http://python.jobbole.com/86405/
安装过程
0. 预先安装 VC14 64bit (32bit最好也安装上)
1. 先安装 twisted
不预先安装这个会提示缺少vc++,现有版本不提供cp36的whell
现有版本: https://pypi.python.org/pypi/Twisted/17.9.0
历史版本: http://fstab.net/pypi/simple/twisted/
错误解决方案参考:
http://blog.csdn.net/feifantiantang/article/details/78749265
https://www.jianshu.com/p/a294a4b2bcde
http://blog.csdn.net/sinat_35637319/article/details/78940415
https://zhidao.baidu.com/question/813473497283817492.html
2. 再安装 pypiwin32
否则会在运行时报错: No module named ‘win32api‘
pip install pypiwin32
错误解决方案参考:
http://blog.csdn.net/olanlanxiari/article/details/48196255
http://blog.csdn.net/u013687632/article/details/57075514
https://www.cnblogs.com/yrqiang/p/5295252.html
https://sourceforge.net/projects/pywin32/
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
http://blog.csdn.net/zhao_zi_ming_lc/article/details/78108437

原文地址:https://www.cnblogs.com/coder211/p/8484910.html

时间: 2024-08-04 20:33:44

scrapy 参考教程及安装的相关文章

Windows8.1硬盘安装Ubuntu14.04双系统参考教程及多硬盘注意事项[图]

硬盘安装,无需光盘.U盘:Win8.1为主,Ubuntu14.04为辅,可将Windows或Ubuntu设置为开机默认启动项:在Ubuntu下可查看.操作Windows系统下的文件:适用于安装和14.04版本相近的Ubuntu系统.如果以上所述正是你所需要的,那么这可能是一篇您值得参考的教程.但本人建议您先大致通读本文,再做决定. 本文所述方法,个人测试无误,如因本文所述造成任何损失,本人无法负责,请慎重! 如若转载,请注明博文地址及原作者(RisingWonderland). 准备条件 一个健

scrapy系列教程一——scrapy介绍和scrapy安装

1.scrapy可以做什么?      Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. 2. scrapy相关文档 Scrapy 中文文档     http://scrapy-chs.readthedocs.org/zh

ActiveReports 报表控件官方中文入门教程 (1)-安装、激活以及产品资源

原文:ActiveReports 报表控件官方中文入门教程 (1)-安装.激活以及产品资源 本系列文章主要是面向初次接触 ActiveReports 产品的用户,可以帮助您在三天之内轻松的掌握ActiveReports控件的基本使用方法,包括安装.激活.创建报表.绑定数据源以及发布等内容.本篇文章我们就从安装产品开始带您开启轻松的 ActiveReports 体验之旅. 系列文章列表: ActiveReports 报表控件官方中文入门教程 (2)-创建.数据源.浏览以及发布 ActiveRepo

dSploitzANTI渗透教程之安装zANTI工具

dSploitzANTI渗透教程之安装zANTI工具 Dsploit/zANTI基础知识 zANTI是一款Android平台下的渗透测试工具,支持嗅探已连接的网络.支持中间人攻击测试.端口扫描.Cookie获取及路由安全测试等操作.该工具是由以色列移动安全公司Zimperium开发的.本章将对zANTI工具进行简单介绍. zANTI概述 zANTI是一款Android平台下的渗透测试工具,支持嗅探已连接的网络.支持中间人攻击测试.端口扫描.Cookie获取及路由安全测试等操作,如图1.1所示.这

Ubuntu设置交换空间参考教程[图]

如果你当前使用的Ubuntu系统,无论是虚拟机还是实体机,没有交换分区或交换分区空间不足,可以为其设置交换空间. 本文提供的是一种设置交换空间的简单方法. 如若转载,请注明博文地址及原作者(RisingWonderland). 为何要在操作系统安装完毕后设置交换空间? 1.本文与<Windows8.1安装Ubuntu14.04双系统参考教程及双硬盘注意事项>这篇文章有直接关联.在这篇参考教程中,我并没有在安装Ubuntu时设置交换分区. 2.交换分区并不是必须的,但是有些软件却强制要求系统内含

简单几步制作 Windows 10 正式版U盘可启动安装盘图文教程 (全新安装Win10)

简单几步制作 Windows 10 正式版U盘可启动安装盘图文教程 (全新安装Win10) 相信不少朋友现在已经下载好 Windows 10 RTM 正式版的镜像文件了,虽然说微软提供了在原系统基础上升级的方式,但对于很多追求干净.稳定的朋友还是想要进行全新的安装的. 虽然将 Win10 系统的 ISO 镜像刻录成光盘来安装非常简单,但现在很多电脑已经不再配备光驱了,怎样制作 USB 的可启动 Windows 10 U盘安装盘成了很多同学的需求.今天吉他锅就给大家带来快速创建 Win10 启动安

Windows8.1和Ubuntu14.04双系统卸载Ubuntu参考教程[图]

我之前编写并发布了<Windows8.1安装Ubuntu14.04双系统参考教程及双硬盘注意事项>这篇教程,而本文提供的卸载Ubuntu方法适用于这篇教程,其他方法安装的Ubuntu可适当做参考.但本人建议您先大致通读本文,再做决定. 本文所述方法,个人测试无误,如因本文所述造成任何损失,本人无法负责,请慎重! 如若转载,请注明博文地址及原作者(RisingWonderland). 准备条件 请再次确认对Ubuntu系统做好文件备份: 本文适用于Win7.Win8.1: Windows操作系统

Python Kivy 中文教程:安装(Windows)

Kivy 是一套用于跨平台快速应用开发的开源框架,只需编写一套代码,便可运行于各大桌面及移动平台上(包括 Linux, Windows, OS X, Android, iOS, 以及 Raspberry Pi) Kivy 采用 Python 和 Cython  编写,在国外已经十分火爆,受关注程度甚至一度超越了老牌的 Python GUI 工具 PyQt.可惜 Kivy 在国内还鲜为人知,咪博士将会陆续推出一系列 Kivy 中文教程.这一篇先教大家,在 Windows 上 安装 Kivy. 零.

Scrapy精华教程(六)——自动爬取网页之II(CrawlSpider)

一.目的. 在教程(二)(http://blog.csdn.net/u012150179/article/details/32911511)中使用基于Spider实现了自己的w3cschool_spider,并在items.py中定义了数据结构, 在pipelines.py中实现获得数据的过滤以及保存. 但是以上述方法只能爬取start_url列表中的网页,而网络爬虫如google等搜索引擎爬虫实现的就是对整个互联网的爬取,所以在本教程中研究使用scrapy自动实现多网页爬取功能. 在教程(五)