python学习之爬虫：BeautifulSoup

一、功能：

BeautifulSoup是用来从HTML或XML中提取数据的Python库。

二、导入：

from bs4 import BeautifulSoup

import bs4

三、编码格式：

soup使用Unicode编码

四、对象种类：

有四种类型：Tag，NavigableString，BeautifulSoup，Comment。
BeautifulSoup将文档转化为树形结构，每个节点都是上述四种类型的Python对象。

tag属性：name、attrs

参考网址：

1、http://python.jobbole.com/84774/

2、https://www.crummy.com/software/BeautifulSoup/bs4/doc/#making-the-soup

3、http://wiki.jikexueyuan.com/project/python-crawler-guide/beautiful-soup.html

时间： 2024-10-09 12:08:37

python学习之爬虫：BeautifulSoup的相关文章

python学习之爬虫一

一,爬虫原理: 通过模拟浏览器的行为自动从网上获得需要的数据二,爬虫的流程 1,发送request请求给某个URL : 2,获得返回的response 解析得到需要的数据再根据自己的需要进行各种处理三,具体的实现代码 3.1发送request请求分2种:get 和 post ,这里使用的是python3 使用的模块是requests ,可使用pip3 install requests(pip也行只要你的python安装目录下的scripts文件夹里既有pip.exe 又有pip3.

python学习之爬虫(一) ——————爬取网易云歌词

接触python也有一段时间了,一提到python,可能大部分pythoner都会想到爬虫,没错,今天我们的话题就是爬虫!作为一个小学生,关于爬虫其实本人也只是略懂,怀着"Done is better than perfect"的态度硬着头皮开始了这篇文章的撰写!好了,废话不多说! 先说一下今天我们的目的,作为一个音痴但不影响我对于音乐的执着,所以今天我们爬取的是网易云音乐,我们将会通过代码爬取歌词并写入到本地. 作为新手,我很本能就打开页面复制了url,然后用Beautifulsou

Python学习－使用BeautifulSoup来解析网页一：基础入门

写技术博客主要就是总结和交流的,如果文章用错,请指正啊! 以前一直在使用SGMLParser,这个太费时间和精力了,现在为了毕业设计,改用BeautifulSoup来实现HTML页面的解析工作的. 一.字符的编码和解码和网页打交道,首先解决的就是web页面的编码方式,不幸的是不同网站的页面编码方式基本不相同,有的是gb2312,有的是utf-8,有的是gbk,下面是我查看我以后需要的网站源码后得出的web页面的编码方式: di = { 'gb2312':['http://www.sina.co

Python学习---网页爬虫[下载图片]

爬虫学习--下载图片 1.主要用到了urllib和re库 2.利用urllib.urlopen()函数获得页面源代码 3.利用正则匹配图片类型,当然正则越准确,下载的越多 4.利用urllib.urlretrieve()下载图片,并且可以重新命名,利用%S 5.应该是运营商有所限制,所以未能下载全部的图片,不过还是OK的 URL分析: 源码: #coding=utf-8 import re import urllib def getHtml(url): page=urllib.urlopen(u

python学习之爬虫理论总结

通用爬虫和聚焦爬虫根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种.通用网络爬虫是捜索引擎抓取系统(Baidu.Google.Yahoo等)的重要组成部分.主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份.通用网络爬虫从互联网中搜集网页,采集信息,这些网页信息用于为搜索引擎建立索引从而提供支持,它决定着整个引擎系统的内容是否丰富,信息是否即时,因此其性能的优劣直接影响着搜索引擎的效果搜索引擎如何获取一个新网站的URL: 新网站向搜索引擎主动提交网址: 在其

python学习之爬虫网络数据采集

Python 给人的印象是抓取网页非常方便,提供这种生产力的,主要依靠的就是urllib.requests这两个模块. 网络数据采集之urllib urllib库官方文档地址:https://docs.python.org/3/library/urllib.htmlurllib库是python的内置HTTP请求库,包含以下各个模块内容:(1)urllib.request:请求模块(2)urllib.error:异常处理模块(3)urllib.parse:解析模块(4)urllib.robotpa

Python学习之爬虫

目标:下载贴吧或空间中所有图片步骤:(1)获取页面代码 (2)获取图片URL,下载图片代码如下: #!/usr/bin/python import re import urllib def getHtml(url): page=urllib.urlopen(url) html=page.read() return heml def getImg(html): reg=r'src="(.*?\.jpg" width' imgre=re.compile(reg) imglist=re.

python学习笔记——爬虫的抓取策略

1 深度优先算法 2 广度/宽度优先策略 3 完全二叉树遍历结果深度优先遍历的结果:[1, 3, 5, 7, 9, 4, 12, 11, 2, 6, 14, 13, 8, 10] 广度优先遍历的结果:[1, 3, 2, 5, 4, 6, 8, 7, 9, 12, 11, 14, 13, 10] 4 实践中怎么来组合爬取策略 (1)一般来说,重要的网页距离入口站点的距离很近: (2)广度/宽度优先有利于多爬虫并行进行合作: (3)可以考虑将深度与广度/宽度相结合的方式来实现抓取的策略:优先考虑广

python学习5 爬虫老是被封如何解决

先设置等待时间: 常见的设置等待时间有两种,一种是显性等待时间(强制停几秒),一种是隐性等待时间(看具体情况,比如根据元素加载完成需要时间而等待)图 1 是显性等待时间设置,图 2 是隐性. 第二步,修改请求头: 识别你是程序还是网友浏览器浏览的重要依据就是 User-Agent,比如网友用浏览器浏览就会使这个样子的 User-Agent:’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Ch