用户密码认证?
通过用户名和密码的形式进行身份认证，该认证信息最终会转换为Proxy-Authorization 协议头跟随请求一起发出，同时支持通过Authorization协议头进行隧道身份验证。 如用户认证错误，系统会返回401 Unauthorized 或 407 Proxy Authentication Required。
例如
在代码中使用HTTP隧道时，如果代码的 HTTP 请求方法不支持以用户名/密码的形式设置身份认证信息， 则需要手动为每个 HTTP 请求增加Proxy-Authorization协议头， 其值为 Basic <base64>。其中 <base64> 为 “用户名” 和 “密码” 通过 : 拼接后， 再经由 BASE64 编码得到的字符串。 正确设置后，发出的请求都将包含如下格式的 HTTP 协议头信息： Proxy-Authorization: Basic MTZZVU4xMjM6MTIzNDMyMw==
注意
建议使用Proxy-Authorization 进行用户密码认证。如果使用Authorization,该HTTP头信息会随请求发送到目标网站。 访问HTTPS网站时，请使用库自带的代理认证方式，手动设置的Proxy-Authorization协议头，在访问HTTPS网站的情况下，会被代理直接转发到目标网站，导致匿名失效。
域名解析失败
爬虫代理域名ttl时间比较短【多机多地热备】，如遇到解析爬虫代理的域名失败，建议使用 114.114.114.114 或运营商的dns来做DNS解析。
原文地址：https://blog.51cto.com/14201222/2365491
时间： 2024-10-21 20:55:45