python学习 —— 建立IP代理池

  代码:

from bs4 import BeautifulSoup
from requests import Session, get, post
from time import sleep
import random
import re, os

class ProxyIpPool(object):

    def __init__(self,page):
        object.__init__(self)
        self.page = page

    def init_proxy_ip_pool(self):
        url = ‘https://www.kuaidaili.com/free/‘

        tablelist = [‘IP‘, ‘PORT‘, ‘类型‘, ‘位置‘]

        ip = []
        port = []
        type = []
        position = []

        r = Session()

        headers = {
            ‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8‘,
            ‘Accept-Encoding‘: ‘gzip, deflate, br‘,
            ‘Accept-Language‘: ‘zh-CN,zh;q=0.9‘,
            ‘Connection‘:‘keep-alive‘,
            ‘Host‘: ‘www.kuaidaili.com‘,
            # ‘Referer‘: url, # 点击下一页时 每一页的referer对应的url为:从前一页的link来到当前页的那个link。比如:从百度进入代理IP第一页时的referer的url就是百度的link
            ‘Upgrade-Insecure-Requests‘: ‘1‘,
            ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.168 Safari/537.36‘
        }

        if self.page > 1:
            url = url + ‘inha/‘ + str(self.page) + ‘/‘

        request = r.get(url,headers=headers,timeout=2,)
        print(request.status_code)
        soup = BeautifulSoup(request.text, ‘lxml‘)
        tags = soup.find_all(‘td‘, attrs={‘data-title‘: tablelist})

        # 获取所有IP
        ip_tag_match = re.compile(r‘data-title="IP">(.+?)</td‘)
        ip.append(ip_tag_match.findall(str(tags)))

        # 获取所有端口
        port_tag_match = re.compile(r‘data-title="PORT">(.+?)</td‘)
        port.append(port_tag_match.findall(str(tags)))

        # 获取所有类型
        type_match = re.compile(r‘data-title="类型">(.+?)</td‘)
        type.append(type_match.findall(str(tags)))

        # 获取所有位置
        position_tag_match = re.compile(r‘data-title="位置">(.+?)</td‘)
        position.append(position_tag_match.findall(str(tags)))
        sleep(random.random()*7)

        # ip、port、type、position作为字典保存
        data_title = {‘ip‘: ip, ‘port‘: port, ‘type‘: type, ‘position‘: position}
        return data_title

def create_proxy_ip_pool(page):

    pool = ProxyIpPool(page).init_proxy_ip_pool()

    print(‘初始化完成!开始创建代理池...‘)

    iplist = pool.get(‘ip‘)
    portlist = pool.get(‘port‘)
    typelsit = pool.get(‘type‘)
    positionlist = pool.get(‘position‘)

    for i in range(0, len(iplist[0])):
        print(format(iplist[0][i],‘<22‘) + format(portlist[0][i],‘<17‘) + format(typelsit[0][i],‘<12‘) + positionlist[0][i])
        try:
            with open(‘C:/Users/adimin/Desktop/proxyip.txt‘,‘a‘) as fp:
                fp.write(format(iplist[0][i],‘<22‘) + format(portlist[0][i],‘<17‘) + format(typelsit[0][i],‘<12‘) + positionlist[0][i] + ‘\r\n‘)
        except FileExistsError as err:
            print(err)
            os._exit(2)

if __name__ == ‘__main__‘:
    print(‘正在初始化代理池...请耐心等待...‘)

    print(format(‘IP‘, ‘^16‘) + format(‘PORT‘, ‘^16‘) + format(‘类型‘, ‘^16‘) + format(‘位置‘, ‘^16‘))
    try:
        with open(‘C:/Users/adimin/Desktop/proxyip.txt‘, ‘a‘) as fp:
            fp.write(format(‘IP‘, ‘^16‘) + format(‘PORT‘, ‘^16‘) + format(‘类型‘, ‘^16‘) + format(‘位置‘, ‘^16‘) + ‘\r\n‘)
    except:
        with open(‘C:/Users/adimin/Desktop/proxyip.txt‘, ‘w‘) as fp:
            fp.write(format(‘IP‘, ‘^16‘) + format(‘PORT‘, ‘^16‘) + format(‘类型‘, ‘^16‘) + format(‘位置‘, ‘^16‘) + ‘\r\n‘)

    # 不知道为什么只能在外面循环才能爬取多页的IP 如果把代码改为在init_proxy_ip_pool函数中进行循环 则只能爬一页多一点...
    for i in range(1,2177):
        create_proxy_ip_pool(i)

  运行结果:

  保存到本地:

原文地址:https://www.cnblogs.com/darkchii/p/8475945.html

时间: 2024-10-30 01:52:00

python学习 —— 建立IP代理池的相关文章

Python爬虫之ip代理池

可能在学习爬虫的时候,遇到很多的反爬的手段,封ip 就是其中之一. 对于封IP的网站.需要很多的代理IP,去买代理IP,对于初学者觉得没有必要,每个卖代理IP的网站有的提供了免费IP,可是又很少,写了个IP代理池 .学习应该就够了 ip代理池: 1,在各大网站爬去免费代理ip2,检查ip可用 可用存入数据库1和23,在数据库1中拿出少量代理ip存入数据库2(方便维护)4,定时检查数据库1和数据库2的代理数量,以及是否可用5,调用端口 1,在各大网站爬去免费代理ip 1 def IPList_61

python开源IP代理池--IPProxys

今天博客开始继续更新,谢谢大家对我的关注和支持.这几天一直是在写一个ip代理池的开源项目.通过前几篇的博客,我们可以了解到突破反爬虫机制的一个重要举措就是代理ip.拥有庞大稳定的ip代理,在爬虫工作中将起到重要的作用,但是从成本的角度来说,一般稳定的ip池都很贵,因此我这个开源项目的意义就诞生了,爬取一些代理网站提供的免费ip(虽然70%都是不好使的,但是扛不住量大,网站多),检测有效性后存储到数据库中,同时搭建一个http服务器,提供一个api接口,供大家的爬虫程序调用. 好了,废话不多说,咱

python爬虫+多线程+多进程+构建IP代理池

目标网站:静听网 网站url:http://www.audio699.com/ 目标文件:所有在线听的音频文件 附:我有个喜好就是晚上睡觉听有声书,然而很多软件都是付费才能听,免费在线网站虽然能听,但是禁ip很严重,就拿静听网来说,你听一个在线音频,不能一个没听完就点击下一集,甚至不能快进太快,否则直接禁你5分钟才能再听,真的是太太讨厌了... 于是我就想用爬虫给它爬下来存储本地就nice了. 我把我的大概分析步骤分享出来. 步骤1: 我查看静听网网页url有一个规律,基网址是http://ww

打造IP代理池,Python爬取Boss直聘,帮你获取全国各类职业薪酬榜

爬虫面临的问题 不再是单纯的数据一把抓 多数的网站还是请求来了,一把将所有数据塞进去返回,但现在更多的网站使用数据的异步加载,爬虫不再像之前那么方便 很多人说js异步加载与数据解析,爬虫可以做到啊,恩是的,无非增加些工作量,那是你没遇到牛逼的前端,多数的解决办法只能靠渲染浏览器抓取,效率低下,接着往下走 ? 千姿百态的登陆验证 从12306的说说下面哪个糖是奶糖,到现在各大网站的滑动拼图.汉子点击解锁,这些操作都是在为了阻止爬虫的自动化运行. 你说可以先登录了复制cookie,但cookie也有

scrapy_随机ip代理池

什么是ip代理? 我们电脑访问网站,其实是访问远程的服务器,通过ip地址识别是那个机器访问了服务器,服务器就知道数据该返回给哪台机器,我们生活中所用的网络是局域网,ip是运营商随机分配的,是一种直接访问服务器的方式 代理服务器是一种间接方式,本地机器访问ip代理服务器,ip代理服务器帮我们发起服务请求,然后代理服务器接收数据返回给本机,由于中间有了层ip代理服务器,访问的速度和稳定性取决于代理服务器的性能 常规访问: 用户 >> ip  >> 服务器 代理访问: 用户用户 >

小白也能做的IP代理池,好久没更新了,不知道你们想看什么呢!

IP代理池制作 GitHub主页: https://github.com/hfldqwe/ 使用工具: ip代理抓取: requests 后台搭建: Django+Redis 代理检测: ip地址查询:http://ip.chinaz.com/ 这个网站提供的接口:http://ip.chinaz.com/getip.aspx 代理抓取地址: 西刺代理:http://www.xicidaili.com/nn/ + num 设计思路 爬取代理ip,获取如下信息: IP地址 端口 服务器地址 类型

Flask开发系列之Flask+redis实现IP代理池

Flask开发系列之Flask+redis实现IP代理池 6.11-6.15号完善... 简易实现版 import requests import re import time import redis from bloom_filter import BloomFilter import ast pool = redis.ConnectionPool(host='localhost',password='xxx', port=6379, decode_responses=True) r = r

ip代理池-基于mongodb数据库

代码用的python2.7,抓取xici免费代理,检测放入数据库中,为以后爬虫做准备.下面直接上代码 1 #-*-encoding=utf-8-*- 2 3 import requests 4 from lxml import etree 5 import time 6 import pymongo 7 from multiprocessing import Pool 8 9 10 class Getproxy(object): 11 def __init__(self): 12 self.he

【Python3爬虫】Scrapy使用IP代理池和随机User-Agent

在使用爬虫的时候,有时候会看到由于目标计算机积极拒绝,无法连接...,这就是因为我们的爬虫被识别出来了,而这种反爬虫主要是通过IP识别的,针对这种反爬虫,我们可以搭建一个自己的IP代理池,然后用这些IP去访问网站. 新建一个proxies.py,实现我们自己的代理池,主要模块有获取模块.验证模块和存储模块. (1)获取模块:爬取网上的免费代理,这一部分我就写了个爬取西刺代理的代码,除了获取网上的代理,还要对代理池中代理进行清洗,因为有些代理会失效: (2)验证模块:验证我们的代理是否可用,如果不