Python3.x:获取代理ip

Python3.x:获取代理ip

获取代理ip,代码:

# python3
# 国内高匿代理IP网站:http://www.xicidaili.com/nn/
# 爬取首页代理IP地址

from bs4 import BeautifulSoup
import requests
import random

# 获取首页IP列表
def get_ip_list(url, headers):
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, ‘lxml‘)
    ips = soup.find_all(‘tr‘)
    ip_list = []
    # 提取ip列表
    # range()的用法:range(1,5) #代表从1到5(不包含5)
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all(‘td‘)
        ip_list.append(tds[5].text.lower() + ‘://‘ + tds[1].text + ‘:‘ + tds[2].text)
    return ip_list

# 随机获取一个ip
def get_random_ip(ip_list):
    # 随机获取一个ip(从返回的ip列表里面)
    proxy_ip = random.choice(ip_list)
    return proxy_ip

# 测试
if __name__ == ‘__main__‘:
    # 国内高匿代理IP
    url = ‘http://www.xicidaili.com/nn/‘
    headers = {
        ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36‘
    }
    # 获取首页ip列表
    ip_list = get_ip_list(url, headers=headers)
    # 随机提取一个ip
    ip = get_random_ip(ip_list)
    print(‘代理ip地址:‘ + ip)

常用的代理ip地址:

1,西刺免费代理IP:http://www.xicidaili.com/

2,国内高匿代理IP:http://www.xicidaili.com/nn/

3,66免费代理网:http://www.66ip.cn/

作者:整合侠
链接:http://www.cnblogs.com/lizm166/p/8191305.html
来源:博客园
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

原文地址:https://www.cnblogs.com/lizm166/p/8214696.html

时间: 2024-11-02 01:09:11

Python3.x:获取代理ip的相关文章

Python3.x:代理ip刷评分

Python3.x:代理ip刷评分 一,功能: 针对某网站对企业自动刷评分: 网站:https://best.zhaopin.com/ 二,步骤: 1,获取代理ip(代理ip地址:http://www.xicidaili.com/nn): 2,模拟浏览器打开评分页面: 3,模拟评分事件,并传递参数: 参数获取:根据浏览器的开发者工具,跟踪评分事件:对应的"Network"可以看到相关的表头信息,其中的From Data就是参数信息: 表头信息:POST方式 参数信息: 三.代码:(稍后

Python3.x:代理ip刷点赞

Python3.x:代理ip刷点赞 一,功能: 针对某网站对企业自动刷点赞: 网站:https://best.zhaopin.com/ 二,步骤: 1,获取代理ip(代理ip地址:http://www.xicidaili.com/nn): 2,模拟浏览器打开点赞页面: 3,模拟点赞事件,并传递参数: 参数获取:根据浏览器的开发者工具,跟踪点赞事件:对应的"Network"可以看到相关的表头信息,其中的From Data就是参数信息: 三.代码: # python3 # 功能:对http

获取代理IP地址

今天在开源中国上看到有个有写了个小程序,用来获取代理IP地址.用的beautifulsoup. 自己动手用正则重写了一下. #!/usr/bin/python import requests import re pattern=re.compile(r'(\d+)\D(\d+)\D(\d+)\D(\d+)\D(\d+)') headers={'Host':"www.ip-adress.com", 'User-Agent':"Mozilla/5.0 (Windows NT 6.

分享一个获取代理ip的python函数

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 #coding:utf-8 from bs4 import BeautifulSoup import requests import random def getproxyip(): headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encodi

python编写的自动获取代理IP列表的爬虫-chinaboywg-ChinaUnix博客

python编写的自动获取代理IP列表的爬虫-chinaboywg-ChinaUnix博客 undefined Python多线程抓取代理服务器 | Linux运维笔记 undefined java如果模拟请求重启路由器(网络爬虫常用),还有java如何下载图片 - baidu_nod的专栏 - 博客频道 - CSDN.NET undefined [多线程数据采集]使用Jsoup抓取数据+破解屏蔽ip访问. - MiniBu - 开源中国社区 undefined 单linux服务器同时拨多条AD

python爬虫之反爬虫(随机user-agent,获取代理ip,检测代理ip可用性)

python爬虫之反爬虫(随机user-agent,获取代理ip,检测代理ip可用性) 目录 随机User-Agent 获取代理ip 检测代理ip可用性 随机User-Agent fake_useragent库,伪装请求头 from fake_useragent import UserAgent ua = UserAgent() # ie浏览器的user agent print(ua.ie) # opera浏览器 print(ua.opera) # chrome浏览器 print(ua.chro

获取代理IP地址(BeautifulSoup)

前天用正则的方式获取网站的代理IP数据,今天为了学习BeautifulSoup,用BeautifulSoup实现了一下. 1 #!/usr/bin/python 2 3 import requests 4 from bs4 import BeautifulSoup 5 6 7 headers={'Host':"www.ip-adress.com", 8 'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gec

kylin类库之获取代理IP

1 namespace Kylin.GetHttpIp 2 { 3 public class kylinIp 4 { 5 ///爬虫获取网站的高匿代理IP 6 ///目前使用的网站有: 7 ///http://www.xdaili.cn/freeproxy 8 ///http://www.xicidaili.com/nn/ 9 ///http://www.goubanjia.com/free/gngn/index.shtml 10 /// 11 12 ///第一个网站可以抓包:http://ww

python获取代理IP

利用requests库获取代理,用Beautiful库解析网页筛选ip # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup from threading import Thread headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0'} #定义获取IP函数