基于Python的开源爬虫软件

一、安装Scrapy

导入GPG密钥

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

添加软件源

echo ‘deb http://archive.scrapy.org/ubuntu scrapy main‘ | sudo tee /etc/apt/sources.list.d/scrapy.list

更新包列表并安装scrapy

sudo apt-get update && sudo apt-get install scrapy-0.22

二、Scrapy的组成

三、快速开始Scrapy

运行Scrapy后，只需要重写一个download就可以了。

这里是别人的一个抓取招聘网站信息的例子。但我运行时，出现很多错误，缺少misc目录，而且piplines的配置没有写出来。

诸君稍候，等我试一下，全部分享给大家。