Scrapy 框架架构 |
一.Scrapy框架是基于Twisted的异步框架,纯Python实现的爬虫框架,耦合程度低,可拓展性极强。
1.Engine引擎,处理整个系统的数据流、触发事物、框架的核心
2.item项目,定义爬虫爬取结果的数据结构,爬取的数据会被赋值成该item对象
3.Schedule调度器,接受engine发过来的request放入队列,然后engine再次请求时,将request发送给engine
4.Downloader下载器,下载网页内容,并将网页返回给spiders
5.spiders蜘蛛,定义爬取逻辑和网页解析规则,负责解析response提取结果并返回新的request
6.item Pipeline项目管道,负责处理由蜘蛛从网页中抽取项目,进行清洗,验证和存储数据
7.Downloader Middlewares下载器中间件,主要处理engine和Downloader之间的请求及响应
8.spider Middlewares 蜘蛛中间件,主要处理spiders输入的响应和输出结果及新的请求
scrapy数据流 |
1.engine打开网站,向这个网站的spider请求第一个要爬取的URL
2.engine通过Scheduler以request的形式调度第一个URL
3.engine向Scheduler请求下一个要爬取的URL
4.Scheduler返回下一个要爬取的URL给engine,engine将URL通过Downloader Middlewares 转发给Downloader下载
5.一旦页面下载完毕,Downloader生成该页面的Response,并将其通过Downloader Middlewares发送给Engine
6.Engine从下载器中接受Response,并将其通过Spider Middlewares发送给Spider处理
7.Spider处理Response,并返回爬取到的Item及新的Request给Engine
8.Engine将Spider返回的Item给Item Pipeline,将新的Request给Scheduler
9.重复第2到第8步,直到Scheduler中没有更多的Request,Engine关闭该网站,爬取接受
Scrapy项目认识 |
1.安装Scrapy通过pip安装 pip install Scrapy
2.创建Scrapy项目,直接通过scrapy命令 scrapy startproject XXXXX 这个命令可以在任意文件夹运行,我们在一个文件夹中用scrapy startproject Tanzhou命令生成一个Tanzhou的文件夹,再进入Tanzhou文件中,用命令scrapy genspider Tanzhous shiguangkey.com在文件夹中生成Tanzhous.py文件
3.构造请求
class TanzhousSpider(scrapy.Spider): name = ‘Tanzhous‘ allowed_domains = [‘shiguangkey.com‘] baseUrl = ‘https://www.shiguangkey.com/course/list?page=‘ offset=0 start_urls = [baseUrl + str(offset)]
4.创建Item,在items.py文件中
import scrapy class TanzhouItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 课程金额 money = scrapy.Field() # 课程名称 title = scrapy.Field() #课程人数 personNum=scrapy.Field()
5.解析响应,在Tanzhous.py类的parse()方法中直接对response进行解析,并添加到item中,再返回Item。后面使用了前面offset来构造新的request,使用callback
函数再次解析request
def parse(self, response): nodes=response.xpath(‘.//div[@class="course-item w192 h240 fl"]‘) for node in nodes: item=TanzhouItem() item[‘money‘]=node.xpath(‘normalize-space(.//div[@class="item-line"]/span/text())‘).extract_first() item[‘title‘]=node.xpath(‘normalize-space(.//div[@class="itemcont"]/a/text())‘).extract_first() item[‘personNum‘]=node.xpath(‘.//div[@class="item-line"]/a/text()‘).extract_first() yield item if self.offset <24: self.offset += 1 url = self.baseUrl + str(self.offset) yield scrapy.Request(url, callback=self.parse)
6.进入目录运行项目使用命令 scrapy crawl Tanzhous,可以运行结果,
这只是一部分内容,通过Scrapy框架可以做到边解析边爬取,直到爬取结束,停止
7.可以将命令窗口爬取到的内容保存到文件,执行下面的命令保存成json文件 scrapy crawl Tanzhous -o Tanzhous.json运行之后就可以看见json文件了
还可以通过命令输出csv、xml、pickle、marshal格式
scrapy crawl Tanzhous -o Tanzhous.csv
scrapy crawl Tanzhous -o Tanzhous.xml
scrapy crawl Tanzhous -o Tanzhous.pickle
scrapy crawl Tanzhous -o Tanzhous.marshal
8.将结果保存到MongoDB数据库要通过定义Item Pipeline实现,修改pipeline.py文件添加新类TextPipeline 实现process_item()方法,ItemPipeline是项目管道,前面生成的Item都要被送到ItemPipeline进行处理,也就是清理Html数据,验证爬虫数据,查重,再保存到数据库中
import pymongo from scrapy.exceptions import DropItem class TextPipeline(object): def __init__(self): self.limit=50 def process_item(self, item, spider): if item[‘title‘]: if len(item[‘title‘])>self.limit: item[‘title‘]=item[‘title‘][0:self.limit].rstrip()+‘...‘ return item else: return DropItem(‘Missing Text‘)
这是对数据的再处理以便保存到数据库。同样在pipeline.py中定义另一个Pipeline,我们实现另一个MongoPipeline如下
class MongoPipeline(object): def __init__(self, mongo_uri,mongo_db): self.mongo_uri=mongo_uri self.mongo_db=mongo_db @classmethod def from_crawler(cls,crawler): return cls( mongo_uri=crawler.settings.get(‘MONGO_URI‘), mongo_db=crawler.settings.get(‘MONGO_DB‘) ) def open_spider(self,spider): self.client=pymongo.MongoClient(self.mongo_uri) self.db=self.client[self.mongo_db] def process_item(self,item,spider): name=item.__class__.__name__ self.db[name].insert(dict(item)) return item def close_spider(self,spider): self.client.close()
我们还要在setting.py中配置内容
ITEM_PIPELINES={ ‘Tanzhou.pipelines.TextPipeline‘:300, ‘Tanzhou.pipelines.MongoPipeline‘:400, } MONGO_URI=‘localhost‘ MONGO_DB=‘TanzhouW‘
还要启动mongodb数据库,在执行爬取运行命令 scrapy crawl Tanzhous 爬取结束后MongoDB中创建了一个数据库如下
原文地址:https://www.cnblogs.com/jzxs/p/10158666.html