“人生苦短，我用python”。最近了解到一个很好的Spider框架——Scrapy，自己就按着官方文档装了一下，出了些问题，在这里记录一下，免得忘记。
Scrapy的安装是基于Twisted进行安装的，在Python3.8的环境中，并不像是网上许多教程所说的那样需要安装许多的插件，只需要安装好Twisted就够了。所以，为了确保一次安装成功，我们首先要安装Twisted。
下载Twisted网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/
下拉找到如下内容：
按照自己的版本进行下载，注意，cp后为python的版本号，python3.8就是 cp38 ；32位win32,64位为win_amd64
下载成功后，win+R输入cmd.exe，进入到Twisted所在目录，使用 pip install 你自己的版本 命令进行安装。
安装结束后，在结尾处显示Successfully installed ...即安装成功。
如果在安装时出现pip版本过低的问题，如 You are using pip version 20.0.1; however, version 20.0.2 is available. You should consider upgrading via the ‘e:\python\安装位置\python.exe -m pip install --upgrade pip‘ command. 则升级pip重新安装即可。升级pip的命令，按照提示命令进行即可，如 e:\python\安装位置\python.exe -m pip install --upgrade pip
安装后如下图所示：
安装Twisted结束后，使用命令 pip install scrapy 进行安装即可（默认安装最新版本）。
创建Scrapy项目--两种方法进行创建（以在visual studio code中为例，其他Windows终端中创建方法相同）
Scrapy项目结构目录如下：
1、官方给出的创建的方法是，在项目目标位置进行创建 scrapy startproject 你的项目名字
进入创建的项目，然后创建你的代码py文件。创建.py文件命令 scrapy genspider .py文件名字 带爬取的网站网址
2、使用bat文件进行创建
创建.bat文件，填写如下代码：
在文件夹中点击运行，项目自动创建，以后在只需要更改 name= 后的内容即可。
运行目标项目.py文件
1、按照官方给出的方法
scrapy crawl 要运行的.py文件
2、在二级HelloScrapy下创建runspider.py,填写如下代码：
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
框架的具体爬取流程正在学习中。。。。。。。。。。
原文地址：https://www.cnblogs.com/yandashan666/p/12236764.html