著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
作者：xlzd
链接：http://www.zhihu.com/question/34980963/answer/60627797
来源：知乎
爬虫自动换User-Agent在代码实现上只需要一句就够了，并不是什么高难度的技术活。爬虫为什么要换不同的User-Agent呢，无非就是为了模拟浏览器，让服务器不容易识别出自己是爬虫。
对于爬虫，其实上上策是爬网站之前先去读一下网站的『robots.txt』文件，看看网站开发者（或网站主人）允许你爬什么不允许你爬什么，然后按照主人的意愿，别做出格的事情。这着实是一种情怀。
当然，其实大部分情况下我们还是希望可以不论网站主人答不答应都爬下我们需要的内容，这就需要用到一些反反爬虫的机制了。题主提到的换U-A其实就是一种方法，当然仅仅换U-A对于大部分有反爬虫机制的网站是不够的。
以下是几种简单常见的反爬虫机制和解决办法。
最简单的自然就是什么也不做，这样的网站爬起来就非常简单了，不赘述。
稍微拦一下的，可能就会校验下User-Agent了，U-A的作用就是标识你是什么浏览器/Client等等。一般编程语言内置的网络库或者第三方网络库，会将U-A设置成自己的标识，对于这样的情况网站开发者就能够很容易拦截了。于是就有了题主所说的换U-A，其实就是将库默认的U-A替换为常用浏览器的U-A，以达到干扰服务器识别的作用。
再复杂一点的，可能就不只是通过浏览器标识来识别了，访问者的IP也是标识之一。这样的反爬虫机制有一个问题就是，如果从同一个IP出去的真实请求很多，比较容易误判为爬虫。一般服务器会根据IP+Cookie来识别每个用户。要爬取这样的网站，一个比较简单且有效的方案是换代理。很多网站提供免费代理，抓下它们，然后在发请求通过代理（最好是高匿代理），就可以搞定大部分网站了。值得注意的是代理的有效时间一般比较短，所以爬代理之后应该有一个有效的机制校验已有代理的有效性。
更复杂的网站，就可能会通过账号来限制了。这样的网站一般在注册账号登录之前并不能完整浏览需要的资讯，必须要注册并登录后才能看到。这样的网站就需要注册一批账号了，在一个账号不可用之后更换新的账号。可以写一个脚本来批量注册账号。当然注册的时候一般会伴随验证码，对于简单的验证码可以Google以下OCR找找资料，复杂的验证码就手输或者购买人肉打码服务吧。
更加复杂的，就是一些社交网站了。社交网站大多非常封闭，拿新浪微博为例，微博在登录时需要提交很多参数，登录后请求的页面也不是最终的源码，还需要自己解析一遍。对于有大量js渲染的网页，一般复杂但是容易（是的，这两个词不矛盾）的，可以自己解析，复杂但是不容易的就通过一些库去做吧（比如Python的selenium等）。
........
中间还有很多就不总结了，最后讲一种情况。大概这属于爬虫界的无解难题了，就是请求所有的资源都需要付费。是的，这类网站你需要在你的账户里充值，然后每次请求都是付费的，他们才不关心你是机器还是人，反正收费嘛。
大概就是这样，时间比较紧，总结中很多漏洞，请见谅。