一、 基于终端指令的持久化存储
- 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作
执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储:
scrapy crawl 爬虫名称 -o xxx.json
scrapy crawl 爬虫名称 -o xxx.xml
scrapy crawl 爬虫名称 -o xxx.csv
示例:
原文地址:https://www.cnblogs.com/mwhylj/p/10254959.html
时间: 2024-10-02 19:02:00