Redis 七月小说网的爬虫缓存设计

一、爬虫策略

1.主服务器先根据spider.all

二、缓存策略

1.主服务器通过爬取各类排行榜或首页等Book集合、简短字段的页面

创建多个不同key的Hash

expect => create {"siteId_bookId": Hash} 

2.从服务器通过爬书详细页

更新单个key的部分Hash字段， 创建章节有序集合存放章节id ，生成request_url到spider.wait中

expect =>
update {"siteId_bookId": Hash} ,
create {"siteId_bookId_chapters": Sort Set}

3.从服务器通过爬章节详细页

创建章节Hash对象

expect => create {"siteId_bookId_chapterId": Hash}

4.从主服务器归并两个hash对象和一个sort set对象，生成Book信息导入数据库。

原文地址：https://www.cnblogs.com/jiajin/p/8476311.html