基于浏览器内核的被动式爬虫任务下发框架

现有基于浏览器的客户端测试框架通过ChromeDriver这类组件来主动控制，但主动控制有缺点：

1. 重新load下一个页面时，上一个页面可能仍有JS代码在执行，或者网络层的连接阻塞、UI线程阻塞什么的；
2. 通过WebView接口注入执行的JS代码可能因为各种情况意外出错，出错的话无法获得通知
3. 无法可靠地向浏览器查询，获得当前任务是否已经执行完成的信息

这里给出一个简单的基于修改chromium内核，进行被动控制的思路及流程如下：

1. 浏览器启动时，通过一个‘给定的任务下发Web服务URL’获得一次‘爬虫任务描述’，包含下列信息：
   1. target_url: 要抓取的页面的URL
      • 可选的task_id（假如target_url属性还不能用于对任务的唯一描述的话）
   2. inject_js: 要注入的客户端爬虫JS代码
   3. post_notify： 任务完成时的一个HTTP POST地址

      （这意味着任务描述需要作为一条记录保存在数据库中，包含‘是否已下发’，‘是否已完成’信息）

      要点是这里“分布式微服务架构+无状态应用+异步完成通知”的思想

2. 接下来，浏览器打开target_url，待loadFinished时，下载inject_js（可以在主UI进程端缓存）并加载注入
3. 注入的客户端爬虫JS代码开始分析目标页面的DOM树结构，提取出内容信息，并Ajax POST到post_notify
4. post_notify服务器端接受爬虫抓取的数据，更新‘爬虫任务描述’表记录，同时返回OK确认
5. 注入的JS代码通知浏览器访问任务下发URL，获取下一个新的‘爬虫任务描述’
   • JS控制可能不可靠，导致浏览器处于‘僵死’状态，因此可以在主UI进程端启动一个watchdog计时器，强制重置状态

对内核的修改点（TODO）：

1. 当前的‘爬虫任务描述’，以C++数据结构的形式存储到chromium的主UI进程端；
2. 增加一个新的application/json-crawler-task MIME类型，以解析json格式的爬虫任务描述（主要难点）
3. loadFinished回调时的inject_js下载、缓存及注入代码
4. watchdog计时器（可能不需要）
5. 如何实现基于浏览器的RSS客户端爬虫？一般XML文档不是HTML，无法注入JS代码执行

版权声明：本文为博主原创文章，未经博主允许不得转载。