爬取代理IP

现在爬虫好难做啊，有些网站直接封IP，本人小白一个，还没钱，只能找免费的代理IP，于是去爬了西刺免费代理，结果技术值太低，程序还没调试好，

IP又被封了。。。

IP又被封了。。。

IP又被封了。。。

于是又开始找其他的免费代理，找到了89免费代理，这个网站提供了API接口。在我调试过程中发现，这个API接口好像对爬虫没啥限制，哈哈哈！！！

下面附上代码：

1.这次找了好多User-Agent，以防万一。
    def __init__(self):
        self.get_ip_url = "http://www.89ip.cn/tqdl.html?api=1&num=3000"
        self.check_ip_url = "http://www.baidu.com"
        self.headers =  [
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36
            (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36
            (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"},
            {"User-Agent":"Opera/8.0 (Windows NT 5.1; U; en)"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208
            Firefox/2.0.0 Opera 9.50"},
            {"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera
            9.50"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101
            Firefox/34.0"},
            {"User-Agent":"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10)
            Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2
            (KHTML,like Gecko) Version/5.1.7 Safari/534.57.2 "},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,
            like Gecko) Chrome/39.0.2171.71 Safari/537.36"},
            {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML,like
            Gecko) Chrome/23.0.1271.64 Safari/537.11"},
            {"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US)
            AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,
            like Gecko) Chrome/30.0.1599.101 Safari/537.36"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like
            Gecko"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML,
            like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML,
            like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER"},
            {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64;
            Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR
            3.0.30729;Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)"},
            {"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;
            QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)"},
            {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64;
            Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR
            3.0.30729;Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)"},
            {"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;
            QQDownload 732; .NET4.0C; .NET4.0E) "},
            {"User-Agent":"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like
            Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0"},
            {"User-Agent":"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;
            Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,
            like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36"},
            {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,
            like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36"},
            {"User-Agent":"Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X;
            en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2
            Safari/6533.18.5"},
            {"User-Agent":"Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X;
            en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2
            Safari/6533.18.5"},
            {"User-Agent":"Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn)
            AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148
            Safari/6533.18.5"},
            {"User-Agent":"Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us)
            AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2
            Safari/6533.18.5"},
            {"User-Agent":"Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn;
            HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko)
            Version/4.0 Mobile Safari/533.1"},
            {"User-Agent":"Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One
            Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile
            Safari/533.1"},
            {"User-Agent":"MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn;
            MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko)
            Version/4.0 Mobile Safari/533.1"},
            {"User-Agent":"Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945;
            U; en-GB) Presto/2.8.149 Version/11.10"},
            {"User-Agent":"Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39)
            AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13"},
            {"User-Agent":"Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en)
            AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile
            Safari/534.1+"},
            {"User-Agent":"Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US)
            AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6
            TouchPad/1.0"},
            {"User-Agent":"Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019;
            Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko)
            BrowserNG/7.1.18124"},
            {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5;
            Trident/5.0; IEMobile/9.0; HTC; Titan)"},
            {"User-Agent":"UCWEB7.0.2.37/28/999"},
            {"User-Agent":"NOKIA5700/ UCWEB7.0.2.37/28/999"},
            {"User-Agent":"Openwave/ UCWEB7.0.2.37/28/999"},
            {"User-Agent":"Mozilla/4.0 (compatible; MSIE 6.0;)
            Opera/UCWEB7.0.2.37/28/999"}]
        self.get_ip_queue = Queue()
        self.pass_ip_list = []
2.发送请求，通过正则表达式获取IP列表
    def get_ip_list(self,url):
        header = random.choice(self.headers)
        response = requests.get(url,headers=header)
        ip_list = re.findall(r"(.*?)<br>", response.content.decode())[1:]
        for ip in ip_list:
            self.get_ip_queue.put(ip)
3.检查代理IP是否可用
    def check_ip(self):
        while not self.get_ip_queue.empty():
            ip = self.get_ip_queue.get()
            proxy = {"http": "http://" + ip,
                     "https": "https://" + ip}
            header = random.choice(self.headers)
            try:
                response = requests.get(self.check_ip_url,headers=header,proxies=proxy,timeout=3)
            except:
                print(ip,"连接超时")
            else:
                print(ip,response.status_code)
                if response.status_code == 200:
                    self.pass_ip_list.append(ip)
            self.get_ip_queue.task_done()
4.保存到csv文件中
    def save_csv(self,pass_ip_list):
        pass_ip_df = pd.DataFrame({"ip": pass_ip_list})
        pass_ip_df.to_csv("./ip.csv", index=False)
5.主运行程序
    def run(self):
        """运行程序"""
        t_start = datetime.datetime.now()
        # 1.获取代理IP列表
        self.get_ip_list(self.get_ip_url)
        # 2.验证代理IP有效性
        for i in range(100):
            t = threading.Thread(target=self.check_ip)
            t.setDaemon(True)
            t.start()
        self.get_ip_queue.join()
        # 3.保存代理IP至csv文件
        print("*" * 100)
        self.save_csv(self.pass_ip_list)
        t_end = datetime.datetime.now()
        print("保存成功", t_end.strftime(‘%Y-%m-%d %H:%M:%S‘))
        print("用时{}".format(t_end-t_start),"获取{}个代理IP".format(len(self.pass_ip_list)))

if __name__ == ‘__main__‘:
    daili89 = Daili89()
    while True:
        schedule.run_pending()
        daili89.run()
        time.sleep(600)

运行结果如下图：


最后，

人生苦短，还是要积极地走下去！

原文地址：https://www.cnblogs.com/dblsha/p/10089972.html

时间： 2024-11-13 10:14:10

爬取代理IP的相关文章

python爬虫爬取代理IP

# #author:wuhao # #--*------------*-- #-****#爬取代理IP并保存到Excel----#爬取当日的代理IP并保存到Excel,目标网站xicidaili.com#如果访问频率太快的话,会被网站封掉IP import urllib.request import urllib.parse import re import xlwt import http.cookiejar import datetime from bs4 import BeautifulS

python爬取代理ip

要写爬虫爬取大量的数据,就会面临ip被封的问题,虽然可以通过设置延时的方法来延缓对网站的访问,但是一旦访问次数过多仍然会面临ip被封的风险,这时我们就需要用到动态的ip地址来隐藏真实的ip信息,如果做爬虫项目,建议选取一些平台提供的动态ip服务,引用api即可.目前国内有很多提供动态ip的平台,普遍价格不菲,而对于只想跑个小项目用来学习的话可以参考下本篇文章. 简述 本篇使用简单的爬虫程序来爬取免费ip网站的ip信息并生成json文档,存储可用的ip地址,写其它爬取项目的时候可以从生成的json

自动爬取代理IP例子

import time import json import datetime import threading import requests from lxml import etree from queue import Queue # 爬取免费代理IP 来源xicidaili.com # 多线程验证代理ip是否可用 class ProxyTest: def __init__(self): self.test_url = "http://pv.sohu.com/cityjson?ie=ut

python代理池的构建3——爬取代理ip

上篇博客地址:python代理池的构建2——代理ip是否可用的处理和检查 一.基础爬虫模块(Base_spider.py) #-*-coding:utf-8-*- ''' 目标: 实现可以指定不同URL列表,分组的XPATH和详情的XPATH,从不同页面上提取代理的IP,端口号和区域的通用爬虫; 步骤: 1.在base_ spider.py文件中,定义 一个BaseSpider类, 继承object 2.提供三个类成员变量: urls:代理IP网址的URL的列表 group_ xpath:分组X

python爬虫：自动投票代码（自动爬取代理IP）

#!/usr/bin/env python # coding=utf-8 # 戴儒锋 # http://www.linuxyw.com import re import random import sys import time import datetime import threading from random import choice import requests import bs4 def get_ip(): """获取代理IP""&quo

pytohn爬虫成长之路：抓取代理IP并多线程验证

上回说到,突破反爬虫限制的方法之一就是多用几个代理IP,但前提是我们得拥有有效的代理IP,下面我们来介绍抓取代理IP并多线程快速验证其有效性的过程. 一.抓取代理IP 提供免费代理IP的网站还挺多的,我在'西刺代理'上一阵猛抓后自己的IP就被其屏蔽了.只好换'IP巴士'并乖乖的减缓抓取速度了.贴上抓取代码 import urllib.request import urllib import re import time import random #抓取代理IP ip_totle=[] #所有页

怎么来爬取代理服务器ip地址？

一年前突然有个灵感,想搞个强大的网盘搜索引擎,但由于大学本科学习软件工程偏嵌入式方向,web方面的能力有点弱,不会jsp,不懂html,好久没有玩过sql,但就是趁着年轻人的这股不妥协的劲儿,硬是把以前没有学习的全部给学了一遍,现在感觉web原来也就那么回事.好了,废话就不说了,看到本文的读者,可以先看看我做的东西:去转盘网 ok搜搜:www.oksousou.com(这个是磁力,顺便拿出来给大伙观赏) 言归正传,由于我要爬取百度网盘,而度娘你懂的的搞爬虫出生的,反爬虫的能力很牛掰.尤其像我用我

node.js 抓取代理ip

node.js实现抓取代理ip 主要文件:index.js /* * 支持:node.js v7.9.0 */ const cheerio=require('cheerio'); const fetch =require('node-fetch'); const Promise=require('bluebird'); let mongoose=require('mongoose'); Promise.promisifyAll(mongoose); let Schema=mongoose.Sch

Python 爬虫抓取代理IP，并检测联通性

帮朋友抓了一些代理IP,并根据测试联的通性,放在了不通的文件夹下.特将源码分享 注意: 1,环境Python3.5 2,安装BeautifulSoup4  requests 代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 5