1、创建一个scrapy的开发环境
下载scrapy,但是由于pip版本等问题,所以没有最终成功,但是更改pycharm中的环境,使用anaconda就可以了,因为包含了scrapy环境!
2、使用 scrapy 来创建 ArticleSpider项目
打开cmd界面,输入scrapy startproject ArticleSpider
然后在相应的目录找到 ArticleSpider项目,复制到pycharm中
3、更改cmd界面目录,到达pycharm项目目录,我的目录是:C:\Users\Administrator\PycharmProjects\python\ArticleSpider\ArticleSpider\spiders>
4、把提前写好的一个books.py文件粘贴到pycharm目录下,在cmd界面输入scrapy crawl books -0 books.csv
5、最终在pycharm页面看到生成了一个books.csv文件
原文地址:https://www.cnblogs.com/fodalaoyao/p/10425783.html
时间: 2024-10-02 20:47:29