python中的BeautifulSoup使用小结

1.安装

pip install beautifulsoup4

2.代码文件中导入

from bs4 import BeautifulSoup

3.

4.

r = requests.get(‘http://www.baidu.com/‘)
soup = BeautifulSoup(r.text, ‘html.parser‘)

soup = BeautifulSoup(open(‘index.html‘))

print soup.prettify()  #美化HTML代码显示

5.

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象:

soup.head
soup.a
#显示第一个同名标签
soup.head.name #显示标签名称，这里输出‘head’
soup.head.attrs  #显示标签的属性，以字典形式返回所有属性
soup.head[‘class‘] #显示head标签的class属性值
soup.head[‘class‘] = ‘newclass‘ #修改head标签class属性值为‘newclass’
del soup.head[‘class‘] #删除head标签的class属性

soup.head.string  #获取标签内的正文内容，返回值类型为NavigableString

6.遍历

soup.body.contents[0]  #获取body标签的第一个子结点，contents是一个列表
for child in soup.body.children:
    print(child.string)     #children与contents一样，都获取全部直接子结点，只不过children是一个生成器，需遍历取出

for child in soup.body.descendants:
    print(child.string)    #递归遍历获取自身下面所有层级的所有节点，从最高一层列出然后下一层，直到最底层。

for string in soup.body.children.strings:
    print(repr(string))    #strings获取多个正文内容，需遍历取出，stripped_strings去掉每个字符串前后空格及空行，多余的空格或空行全部去掉，使用方法与strings一致

soup.body.parent #获取父节点
for parent in soup.head.title.string.parents:
    print(parent.name)    #遍历上级节点路径，返回结果为title,head,html

.next_sibling   #下一兄弟节点
.previous_sibling  #上一兄弟节点
.next_siblings  #往下遍历所有兄弟节点
.previous_siblings  #往上遍历所有兄弟节点
.next_element    #下一节点，不分层级
.previous_element    #上一节点，不分层级
.next_elements     #往下顺序遍历所有节点，不分层级
.previous_elements   #往上遍历所有节点，不分层级

7.搜索查找标签

find_all( name , attrs , recursive , text , **kwargs )
#例：
#（1）name参数
soup.find_all(‘a‘)  #查找所有a标签
soup.body.div.find_all(‘a‘)  #查找body下面第一个div中的所有a标签

for tag in soup.find_all(re.compile(‘^b‘))；
    print(tag.name)      #正则表达式查找所有以b开头的标签

soup.find_all([‘a‘,‘b‘])  #列表查找，返回所有a标签和b标签

soup.find_all(True)    #为True时，所有标签都满足搜索条件，返回所有标签

#以下为自定义过滤条件，筛选满足自定义条件的标签
def has_class_but_no_id(tag):
    return tag.has_attr(‘class‘) and not tag.has_attr(‘id‘)
soup.find_all(has_class_but_no_id)  #返回所有具有class属性但无id属性的标签

#（2）attrs参数，以标签属性搜索
soup.find_all(id=‘nd2‘) #返回所有标签中属性id等于nd2的标签
soup.find_all(href=re.compile("elsie"), id=‘link1‘)  #多个条件同时筛选，可用正则表达式
soup.find_all("a", class_="sister") #属性中如果有python关键字，比如class属性，不可以直接class=‘sister‘,应加个下划线与python关键字区分class_=‘sister‘
soup.find_all(attrs={"data-foo": "value"})
#类似于html5中的data-foo属性不可直接写为soup.find_all(data-foo=‘value‘)，因为python命名规则中不允许有中划线（即横杠），应以字典形式传入attrs参数中，所有的属性搜索都可以使用这种方法

#（3）text参数
soup.find_all(text="Tillie") #搜索文档中的字符串内容为tillie，与name参数一样，可用列表、正则表达式等

#（4）limit参数
soup.find_all(‘a‘, limit=2) #返回搜索文档中前两个a标签，文档较大时可节约资源

#（5）recursive参数
soup.head.find_all("title", recursive=False)
#在head的直接子节点中搜索，默认为recursive=True，表示在所有子孙节点中搜索

find( name , attrs , recursive , text , **kwargs )
#与find_all用法完全一致，区别在于find只返回第一个满足条件的结果，而find_all返回的是一个列表，需遍历操作

#以下方法参数用法与 find_all() 完全相同，下面只列出区别

find_parents()  find_parent()
#find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等. find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容

find_next_siblings()  find_next_sibling()
#这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代, find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点

find_previous_siblings()  find_previous_sibling()
#这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代, find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点, find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点

find_all_next()  find_next()
#这2个方法通过 .next_elements 属性对当前 tag 的之后的 tag 和字符串进行迭代, find_all_next() 方法返回所有符合条件的节点, find_next() 方法返回第一个符合条件的节点

find_all_previous() 和 find_previous()
#这2个方法通过 .previous_elements 属性对当前节点前面的 tag 和字符串进行迭代, find_all_previous() 方法返回所有符合条件的节点, find_previous()方法返回第一个符合条件的节点