python学习5 爬虫老是被封如何解决

先设置等待时间：

常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图 1 是显性等待时间设置，图 2 是隐性。

第二步，修改请求头：

识别你是程序还是网友浏览器浏览的重要依据就是 User-Agent，比如网友用浏览器浏览就会使这个样子的 User-Agent：’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36’

第三步，采用代理 ip / 建代理 ip 池

\

直接看代码。利用动态 ip 代理，可以强有力地保障爬虫不会被封，能够正常运行。图 1 为使用代理 ip 的情况，图 2 是建 ip 代理池的代码，有没有必要需要看自己的需求，大型项目是必须用大量 ip 的。

原文地址：https://www.cnblogs.com/adret/p/12297399.html

时间： 2024-08-30 06:25:50

python学习5 爬虫老是被封如何解决的相关文章

python学习之爬虫一

一,爬虫原理: 通过模拟浏览器的行为 自动从网上获得需要的数据 二,爬虫的流程 1,发送request请求给某个URL : 2,获得返回的response 解析 得到需要的数据 再根据自己的需要进行各种处理 三,具体的实现代码 3.1发送request请求分2种:get 和 post  ,这里使用的是python3 使用的模块是requests ,可使用pip3 install requests(pip也行 只要你的python安装目录下的scripts文件夹里既有pip.exe 又有pip3.

python学习之爬虫(一) ——————爬取网易云歌词

接触python也有一段时间了,一提到python,可能大部分pythoner都会想到爬虫,没错,今天我们的话题就是爬虫!作为一个小学生,关于爬虫其实本人也只是略懂,怀着"Done is better than perfect"的态度硬着头皮开始了这篇文章的撰写!好了,废话不多说! 先说一下今天我们的目的,作为一个音痴但不影响我对于音乐的执着,所以今天我们爬取的是网易云音乐,我们将会通过代码爬取歌词并写入到本地. 作为新手,我很本能就打开页面复制了url,然后用Beautifulsou

Python学习---网页爬虫[下载图片]

爬虫学习--下载图片 1.主要用到了urllib和re库 2.利用urllib.urlopen()函数获得页面源代码 3.利用正则匹配图片类型,当然正则越准确,下载的越多 4.利用urllib.urlretrieve()下载图片,并且可以重新命名,利用%S 5.应该是运营商有所限制,所以未能下载全部的图片,不过还是OK的 URL分析: 源码: #coding=utf-8 import re import urllib def getHtml(url): page=urllib.urlopen(u

python学习之爬虫理论总结

通用爬虫和聚焦爬虫 根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.通用网络爬虫 是 捜索引擎抓取系统(Baidu.Google.Yahoo等)的重要组成部分.主要目的是将互联网上的网 页下载到本地,形成一个互联网内容的镜像备份.通用网络爬虫 从互联网中搜集网页,采集信息,这些网页信息用于为搜索引擎建立索引从而提供支持,它决定着 整个引擎系统的内容是否丰富,信息是否即时,因此其性能的优劣直接影响着搜索引擎的效果搜索引擎如何获取一个新网站的URL: 新网站向搜索引擎主动提交网址: 在其

python学习之爬虫网络数据采集

Python 给人的印象是抓取网页非常方便,提供这种生产力的,主要依靠的就是urllib.requests这两个模块. 网络数据采集之urllib urllib库官方文档地址:https://docs.python.org/3/library/urllib.htmlurllib库是python的内置HTTP请求库,包含以下各个模块内容:(1)urllib.request:请求模块(2)urllib.error:异常处理模块(3)urllib.parse:解析模块(4)urllib.robotpa

Python学习 之 爬虫

目标:下载贴吧或空间中所有图片 步骤:(1)获取页面代码 (2)获取图片URL,下载图片 代码如下: #!/usr/bin/python import re import urllib def getHtml(url): page=urllib.urlopen(url) html=page.read() return heml def getImg(html): reg=r'src="(.*?\.jpg" width' imgre=re.compile(reg) imglist=re.

python学习之爬虫：BeautifulSoup

一.功能: BeautifulSoup是用来从HTML或XML中提取数据的Python库. 二.导入: from bs4 import BeautifulSoup import bs4 三.编码格式: soup使用Unicode编码 四.对象种类: 有四种类型:Tag,NavigableString,BeautifulSoup,Comment.BeautifulSoup将文档转化为树形结构,每个节点都是上述四种类型的Python对象. tag属性:name.attrs 参考网址: 1.http:

python学习笔记——爬虫的抓取策略

1 深度优先算法 2 广度/宽度优先策略 3 完全二叉树遍历结果 深度优先遍历的结果:[1, 3, 5, 7, 9, 4, 12, 11, 2, 6, 14, 13, 8, 10] 广度优先遍历的结果:[1, 3, 2, 5, 4, 6, 8, 7, 9, 12, 11, 14, 13, 10] 4 实践中怎么来组合爬取策略 (1)一般来说,重要的网页距离入口站点的距离很近: (2)广度/宽度优先有利于多爬虫并行进行合作: (3)可以考虑将深度与广度/宽度相结合的方式来实现抓取的策略:优先考虑广

python学习笔记——爬虫中提取网页中的信息

1 数据类型 网页中的数据类型可分为结构化数据.半结构化数据.非结构化数据三种 1.1 结构化数据 常见的是MySQL,表现为二维形式的数据 1.2 半结构化数据 是结构化数据的一种形式,并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层.因此,它也被称为自描述的结构.常见的半结构数据有HTML,XML和JSON等,实际上是以树或者图的结构来存储的. <person> <name>A</name> &l