爬虫库之BeautifulSoup学习(四)

探索文档树:

find_all(name,attrs,recursive,text,**kwargs)

方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

1、name参数,可以查找所有名字为name的tag,字符串对象会被自动忽略掉。

1) 传字符串

最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容.

下面的例子用于查找文档中所有的<b>标签

soup.find_all(‘b‘)

# [<b>The Dormouse‘s story</b>]

2)传正则表达式

如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式的 match() 来匹配内容.

下面例子中找出所有以b开头的标签,这表示<body>和<b>标签都应该被找到

import re

for tag in soup.find_all(re.compile("^b")):

  print tag.name

#body

#b

3)传列表

如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有<a>标签和<b>标签

soup.find_all(["a","b"])

# [<b>The Dormouse‘s story</b>,
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

4)传True

可以匹配任何值,下面代码查找到所有的tag,但是不会返回字符串节点

5)传方法

2.keyword参数

  注意:如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性

  soup.find_all(id=‘link2‘)

  # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

  

  如果传入href参数,BeautifulSoup会搜索每个tag的"href"属性

  soup.find_all(href=re.compile("elsie"))

  使用多个指定名字的参数可以同时过滤tag的多个属性

  soup.find_all(href=re.compile("elsie"),id=‘link1)

  

  

时间: 2024-11-13 07:58:40

爬虫库之BeautifulSoup学习(四)的相关文章

爬虫库之BeautifulSoup学习(二)

BeautifulSoup官方介绍文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 四大对象种类: BeautifulSoup 将复杂的html文件转换成一个复杂的树形结松,每个节点都是python对象. 所有对象可以分下以下四类: Tag NavigableString BeautifulSoup Comment 下面进行一一介绍: 1.Tag   通俗点讲就是html中的一个个标签,例如: <titl

爬虫库之BeautifulSoup学习(三)

遍历文档树: 1.查找子节点 .contents tag的.content属性可以将tag的子节点以列表的方式输出. print soup.body.contents print type(soup.body.contents) 运行结果: [u'\n', <p class="title" name="dromouse"><b>The Dormouse's story</b></p>, u'\n', <p cla

Python爬虫:用BeautifulSoup进行NBA数据爬取

爬虫主要就是要过滤掉网页中无用的信息,抓取网页中有用的信息 一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解,如网页的标签,网页的语言等知识,推荐去W3School: W3school链接进行了解 在进行爬虫之前还要有一些工具: 1.首先Python 的开发环境:这里我选择了python2.7,开发的IDE为了安装调试方便选择了用VS2013上的python插件,在VS上进行开发(python程序的调试与c的调试差不多较为熟悉): 2.网页源代码的查看工具:虽然每一个浏

python2.7 beautifulsoup学习使用

学习使用python的beautiful soup库,大大方便了网络爬虫对于HTML文件的解析,beautiful soup将HTML拆解成对象处理,将HTML转换成字典和数组,相比利用正则表达式解析的爬虫,省略了学习正则表达式的高成本 说人话就是正则表达式太难了,博主学不会! 本篇只介绍Beautiful Soup的使用,不涉及安装.配置. Beautiful Soup的使用方法如下: 1.创建Beautiful Soup对象 首先导入bs4库,创建Beautiful Soup对象 ? 1 2

爬虫概念与编程学习之如何爬取视频网站页面(用HttpClient)(二)

先看,前一期博客,理清好思路. 爬虫概念与编程学习之如何爬取网页源代码(一) 不多说,直接上代码. 编写代码 运行 <!DOCTYPE html><html><head><meta http-equiv="X-UA-Compatible" content="IE=Edge" /><meta http-equiv="Content-Type" content="text/html; c

011 Python 爬虫库安装简单使用

# Python 爬虫基础知识 ● Python 爬虫基础知识 安装爬虫库 beautifulsoup4 pip install beautifulsoup4 lxml HTML 解析器 pip install html5lib html5lib pip install html5lib ● 使用库 设置 encoding='utf-8' 编码 1 # -*- coding: UTF-8 -*- 2 from bs4 import BeautifulSoup 3 import lxml 4 ht

Jetty学习四:部署到Jetty

Web应用的框架 标准Jetty发布版本能部署标准servlet Spec Web应用和Jetty内部ContextHandler部署描述符,或者两者的一个混合. Web应用是可部署的动态(servlets.filters.jsps.等等)和静态内容.支持库.和绑定到特定上下文路径的描写性的元数据的集合. 格式和布局最终都是通过Servlet Spec定义,你可以查阅官方Servlet Spec文档获取关于Web应用布局和结构的更多细节,这里将给出一个基本的轮廓. Web应用能被捆绑到一个单个的

爬虫系列之BeautifulSoup

BeautifulSoup是处理爬虫的一个强大工具,在HTML页面中,是由各种标签构成的,BeautifulSoup的功能就是从标签下手的,它是解析.遍历.维护“标签树”的功能库. BeautifulSoup的基本元素如下: 1. 基本格式如下: 1 from bs4 import BeautifulSoup 2 import requests 3 4 url = "http://python123.io/ws/demo.html" 5 6 r = requests.get(url)

解析库之beautifulsoup模块

一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现文档导航,查找,修改文档的方式,Beautiful Soup会帮你节省数小时甚至数天的工作时间,你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4 #安装 Beautiful Soup pip install beautifulsoup4 #