进行大量站点测试后,发现其他站点search正常,而该站点无法进行搜索到结果,从爬网中的日志中发现以下错误:
The start address http://xxxxxxxxx cannot be crawled;
新建该站点的网站内容进行专门爬网测试,错误依旧,无法对该站点爬网,根据错误可以判断是爬网服务器无法访问该站点,在爬网服务器上打开该站点url,却出现错误提示,无法打开该网站,判断可能缺少该网站的自定义组件。
最后发现该站点有自定义的组件,在爬网服务器的添加该网站的自定义dll,然后进行增量爬网测试,已经可以在该site搜索出内容。
时间: 2024-12-25 04:38:20