python代理爬取存入csv文件

爬取高匿代理

 1 from urllib import request
 2 import re
 3 import time
 4
 5 f = open(‘西1.csv‘,‘w‘,encoding=‘GBK‘)
 6 headers = {
 7 ‘Cookie‘:‘ _free_proxy_session=BAh7B0kiD3Nlc3Npb25faWQGOgZFVEkiJTJjNTgwNDE4OTYyNTJiNjlmMmU2NDFhZWEwZjExMjFjBjsAVEkiEF9jc3JmX3Rva2VuBjsARkkiMVd4THYybCtNcW1yZmJFckpWUDJFdnNzam5hUCtuMGJLNEg0UFUzdE1XWTA9BjsARg%3D%3D--a43f95e415d8ee53f36f90941dbab43b1503d84b‘,
 8 ‘User-Agent‘:‘ Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36‘,
 9 }
10 url = ‘http://www.xicidaili.com/nn/{}‘
11 end = int(input(‘你想爬几页的代理呢‘))
12 for pag in range(1,end+1):
13     fullurl = url.format(pag)
14     res = request.Request(fullurl,headers=headers)
15     response = request.urlopen(res)
16     html = response.read().decode(‘utf-8‘)
17     # print(html)
18     list_rule = re.compile(r‘<tr.*?</tr>‘,re.S)
19     list = list_rule.findall(html)
20     # print(list)
21     for td in list:
22         iplist_rule = re.compile(r‘<td>(.*?)</td>‘,re.S)
23         iplist = iplist_rule.findall(td)
24         # print(iplist)
25         for ip_a in iplist:
26             a_rule = re.compile(r‘>(.*?)<‘,re.S)
27             address = a_rule.findall(ip_a)
28             for ip_address in address:
29                 iplist[2]=(ip_address)
30                 f.write(‘,‘.join(iplist) + ‘\n‘)
31     print(‘第{}页下载完成‘.format(pag))
32     time.sleep(5)
33 f.close()

原文地址:https://www.cnblogs.com/pantom0122/p/9494222.html

时间: 2024-10-07 21:51:58

python代理爬取存入csv文件的相关文章

Python中把数据存入csv文件

with open("可乐数据.csv","a",encoding="gbk") as fp: fp.write("%s,%s,%s,%s"%(result[0],result[1],name.split("%")[1],result[2])+"\n") 这里的csv文件如果在Python解释器中打开的话是乱码的,把文件复制出来用excel打开就正常了. 原文地址:https://www

python爬虫爬取海量病毒文件

因为工作需要,需要做深度学习识别恶意二进制文件,所以爬一些资源. # -*- coding: utf-8 -*- import requests import re import sys import logging reload(sys) sys.setdefaultencoding('utf-8') logger = logging.getLogger("rrjia") formatter = logging.Formatter("%(asctime)s - %(name

python爬虫—爬取英文名以及正则表达式的介绍

python爬虫—爬取英文名以及正则表达式的介绍 爬取英文名: 一.  爬虫模块详细设计 (1)整体思路 对于本次爬取英文名数据的爬虫实现,我的思路是先将A-Z所有英文名的连接爬取出来,保存在一个csv文件中:再读取csv文件当中的每个英文名链接,采用循环的方法读取每一个英文名链接,根据每个英文名链接爬取每个链接中的数据,保存在新的csv文件当中. 需要写一个爬取英文名链接的函数.将爬取的内容保存在csv文件的函数以及读取csv文件内容的函数.爬取英文名详情页内容的函数. 表5.3.1 函数名

Python爬虫爬取知乎小结

博客首发至Marcovaldo's blog (http://marcovaldong.github.io/) 最近学习了一点网络爬虫,并实现了使用python来爬取知乎的一些功能,这里做一个小的总结.网络爬虫是指通过一定的规则自动的从网上抓取一些信息的程序或脚本.我们知道机器学习和数据挖掘等都是从大量的数据出发,找到一些有价值有规律的东西,而爬虫则可以帮助我们解决获取数据难的问题,因此网络爬虫是我们应该掌握的一个技巧. python有很多开源工具包供我们使用,我这里使用了requests.Be

用Python爬虫爬取广州大学教务系统的成绩(内网访问)

用Python爬虫爬取广州大学教务系统的成绩(内网访问) 在进行爬取前,首先要了解: 1.什么是CSS选择器? 每一条css样式定义由两部分组成,形式如下: [code] 选择器{样式} [/code] 在{}之前的部分就是"选择器"."选择器"指明了{}中的"样式"的作用对象,也就是"样式"作用于网页中的哪些元素.可参考:http://www.w3school.com.cn/cssref/css_selectors.asph

python爬虫爬取csdn博客专家所有博客内容

python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有 文章存放在以其名字命名的文件内,代码如下 结果如下: 版权声明:本文为博主原创文章,未经博主允许不得转载.

Python爬虫爬取博客园并保存

Python爬虫爬取博客园并保存        爬取博客园指定用户的文章修饰后全部保存到本地 首先定义爬取的模块文件: crawlers_main.py 执行入口 url_manager.py url管理器 download_manager.py 下载模块 parser_manager.py html解析器(解析html需要利用的内容) output_manager.py 输出html网页全部内容文件(包括css,png,js等) crawlers_main.py 执行入口 1 # coding

python之爬取网页数据总结(一)

今天尝试使用python,爬取网页数据.因为python是新安装好的,所以要正常运行爬取数据的代码需要提前安装插件.分别为requests    Beautifulsoup4   lxml  三个插件. 因为配置了环境变量,可以cmd命令直接安装.假如电脑上有两个版本的python,建议进入到目录安装. 安装的命令为 pip install requests(Beautifulsoup4   /lxml  ) 三条分别执行. 安装结束,可以尝试网上一些简单的例子,明白了解 Beautifulso

【Python】爬取IMDBTOP250

在网上看到有人利用python+beautifulsoup爬取豆瓣Top250 试着自己模仿这个做了个爬取IMDB的, 可惜只能爬取到11个. 后来检查了超久, 才发现, soup=BeautifulSoup(contents)这里,内容不完整,只能到11个电影为止. 代码如下: import urllib2 from bs4 import BeautifulSoup mylist=[] def crawl(url): headers={'User-Agent':'Mozilla/5.0(Win