为何免费IP不适合于爬虫代理

为什么需要爬虫呢？因为爬虫可以提高我们的工作效率，帮我们收集信息并分类归纳，可谓高效智能。做过爬虫的就知道，代理IP是必不可少的，好的代理IP可以使爬虫工作效率更上一层楼，但也要找点好的代理IP也是一笔不小的花费，于是乎，把目光瞄到了免费代理IP上。
网上的免费代理IP一大堆一大堆的，一般都是比较零散的，怎么收集起来呢？这对于爬虫工作者来说根本不是什么问题，写个小小的爬虫就可以把各大网站上的免费IP收集起来了。接下来就是用这些免费的代理IP来做爬虫了，然而，灾难开始了。
当使用免费代理IP时，会发生“百里挑一”、“步履蹒跚”、“寸步难行”、“光阴似箭”等恼人的事情。
百里挑一：一百个免费代理也许会有一个可以使用，可能一个都没有。
步履蹒跚：好不容易有一个可以用，结果慢的跟蜗牛一样。
寸步难行：慢的跟蜗牛一样也就算了，用两下就封IP了，根本爬不动。
光阴似箭：爬不动怎么办，于是又百里挑一、步履蹒跚、寸步难行，如此反复，突然发现，下班了，可以回家了，但是什么也没做成，真是“日月如梭，光阴似箭”。
本来，爬虫工作是为了提高工作效率，结果用了免费代理IP却起了反作用，一点效率都没有了，所以还是不要用免费代理IP来做爬虫，那样只会适得其反。

原文地址：https://blog.51cto.com/14201222/2377374