获取代理IP地址

今天在开源中国上看到有个有写了个小程序,用来获取代理IP地址。用的beautifulsoup。

自己动手用正则重写了一下。

#!/usr/bin/python

import requests
import re

pattern=re.compile(r‘(\d+)\D(\d+)\D(\d+)\D(\d+)\D(\d+)‘)

headers={‘Host‘:"www.ip-adress.com",
        ‘User-Agent‘:"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
        ‘Accept‘:"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        ‘Accept-Language‘:"zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3",
        ‘Accept-Encoding‘:"gzip, deflate",
        ‘Referer‘:"http://www.ip-adress.com/Proxy_Checker/"
}

url="http://www.ip-adress.com/proxy_list/"
req=requests.get(url,headers=headers)
content=req.content
proxy_ip=re.findall(pattern,content)
for ip in proxy_ip:
        print ‘.‘.join(ip)
时间: 2024-10-23 22:53:57

获取代理IP地址的相关文章

获取代理IP地址(BeautifulSoup)

前天用正则的方式获取网站的代理IP数据,今天为了学习BeautifulSoup,用BeautifulSoup实现了一下. 1 #!/usr/bin/python 2 3 import requests 4 from bs4 import BeautifulSoup 5 6 7 headers={'Host':"www.ip-adress.com", 8 'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gec

获取请求主机IP地址,如果通过代理进来,则透过防火墙获取真实IP地址

/** * 获取请求主机IP地址,如果通过代理进来,则透过防火墙获取真实IP地址; * @Title: getIpAddress * @Description: TODO(这里用一句话描述这个方法的作用) * @param @param request * @param @return * @param @throws IOException 参数 * @return String 返回类型 * @throws */ public String getIpAddress(HttpServletR

获取用户Ip地址通用方法

这个来自一些项目中,获取用户Ip,进行用户操作行为的记录,是常见并且经常使用的. 一般朋友,都会看到如下通用获取IP地址方法. 1 public static function getIp() 2 { 3 if ($HTTP_SERVER_VARS["HTTP_X_FORWARDED_FOR"]) 4 { 5 $ip = $HTTP_SERVER_VARS["HTTP_X_FORWARDED_FOR"]; 6 } 7 elseif ($HTTP_SERVER_VAR

再论 ASP.NET 中获取客户端IP地址

说到IP获取无非是我们常见的以下几种方式,但是具体获取的值具体区别在哪?网上不乏相关文章,说的也是很详细,但是真正使用起来,还有很多不太对的地方.IP在不同系统中,应用相当广泛,常见的日志记录.广告分区域投放等. 1: HttpContext.Current.Request.ServerVariables["HTTP_VIA"]; 2: HttpContext.Current.Request.ServerVariables["HTTP_X_FORWARDED_FOR"

.net 获取客户端Ip地址

Request.ServerVariables["REMOTE_ADDR"]来取得客户端的IP地址,但如果客户端是使用代理服务器来访问,那取到的就是代理服务器的IP地址,而不是真正的客户端IP地址. 要想透过代理服务器取得客户端的真实IP地址,就要使用 Request.ServerVariables["HTTP_X_FORWARDED_FOR"]来读取. 不过要注意的事,并不是每个代理服务器都能用 Request.ServerVariables["HTTP

PHP获取客户端IP地址讲解

<?php http://www.cnblogs.com/chengmo/archive/2013/05/29/php.html (详情请参考这篇博文) 1.'REMOTE_ADDR'是远端IP,默认来自TCP连接是,客户端的Ip.它最准确,但是只会得到直接连服务器客户端IP.如果对方通过代理服务器上网,就发现.获取到的是代理服务器IP了. 如:a->b(proxy)->c ,如果c 通过'REMOTE_ADDR' ,只能获取到b的IP,获取不到a的IP了.*/ $ip=$_SERVER

C#获取真实IP地址实现方法

通常来说,大家获取用户IP地址常用的方法是: 1 string IpAddress = ""; 2 if((HttpContext.Current.Request.ServerVariables["HTTP_X_FORWARDED_FOR"]!=null 3 && HttpContext.Current.Request.ServerVariables["HTTP_X_FORWARDED_FOR"] !=String.Empty)

分享一个获取代理ip的python函数

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 #coding:utf-8 from bs4 import BeautifulSoup import requests import random def getproxyip(): headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encodi

C#如何获取真实IP地址

大家获取用户IP地址常用的方法是 C# 代码   复制 string IpAddress = ""; if((HttpContext.Current.Request.ServerVariables["HTTP_X_FORWARDED_FOR"]!=null && HttpContext.Current.Request.ServerVariables["HTTP_X_FORWARDED_FOR"] !=String.Empty) )