新一代采集平台(网络爬虫)设计和实现

新一代网络爬虫应该满足以下功能特点

1、高性能

2、分布式部署，规模无限扩展

3、配置灵活，可以任意配置规则

4、支持对爬虫单独设置：执行周期、执行开始时间、执行间隔等参数

5、支持http、https等协议

6、支持get方式和post方式

7、支持文件下载

8、支持翻页采集

9、支持二次js请求采集

10、         支持html标签、json等任意报文

11、         支持登录采集

12、         支持代理采集，具有代理池功能，定时自动探测代理有效性

13、         独创的规则配置体系，具有处理复杂报文的能力

14、         具有采集结果加工处理能力，比如：替换、截取、清除垃圾标签、清除空格等操作

15、         支持多数据库，多表数据结果

16、         支持数据库插入、删除、修改等操作的功能

17、         支持保存文件功能

18、         具有规则失效告警功能

爬虫服务器管理

（1）   新增、修改、查看和删除爬虫服务器

（2）   控制分布式爬虫服务器的启动和停止。

（3）   配置爬虫执行周期、执行开始时间、执行间隔等参数

网址管理（队列管理）、配置网址相关参数

分组管理，维护网址的分组信息，便于分类进行操作

配置解析规则

代理服务设置

代理服务器导入

失效规则告警

本人从事网络研发多年，有网络爬虫问题需要咨询可以联系我 Q 130 51777 62

A