1、什么是爬虫代理(加强版、标准版)
“爬虫代理IP”通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,保证了网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力。
2、爬虫代理加强版和标准版有什么区别
(1)标准版的IP分布于全国10多个,适合于中小型网站采集
(2)加强版的IP分布于全国90多个地区,IP量大适合于大型网站或对IP数量、质量要求很高的采集任务。
3、爬虫代理加强版,标准版的用户认证是什么意思
用户认证(通过请求头实现用户名和密码认证)
通过用户名和密码的形式进行身份认证,该认证信息最终会转换为『Proxy-Authorization』协议头跟随请求一起发出,同时支持通过『Authorization』协议头进行隧道身份验证。如用户认证错误,系统会返回407 Unauthorized。
用户认证模式情况下,如果需要使用“代理提取链接(代理提取API)”取代理地址信息,依然需要设置相应的IP白名单,该IP白名单仅对“代理提取链接(代理提取API)”生效。
4、爬虫代理加强版,标准版如果请求过多会返回什么
如果开通的HTTP\HTTPS代理,系统返回429 Too Many Requests;如果开通的Socket5代理,系统会主动对TCP延迟降速,或者直接拒绝超出部分的TCP请求。这两种处理方式都不会对爬虫的运行产生影响,爬虫会根据返回结果自动重新发起请求,这是HTTP\HTTPS和Socket5的标准应答模式。
5、爬虫代理加强版、标准版同一隧道使用的代理会重复吗
系统会自动做去重和随机处理,一般情况下代理IP不会重复出现, 但如果池中的 IP 在当天都被隧道使用过,为了保证代理的可用性,平台会为隧道随机分配一个可用代理。
原文地址:https://blog.51cto.com/14400115/2425715