孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1

(完整学习过程屏幕记录视频地址在文末)

感觉用requests获取到网页的html源代码后,更重要的工作其实是分析得到的内容,因此这时候大名鼎鼎的BeautifulSoup模块就可以大展身手了。

一、今天已了解到的BeautifulSoup模块中的一些用法小结:

1.

BeautifulSoup对象.prettify()  #对html源代码 进行了美化。

2.

BeautifulSoup.p

#这种方法将返回html文档中的第一个p标签本身这个对象,不是文本,但Print之后会显示为如:

<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>

3.

BeautifulSoup对象.a

#得到了Html文档中的第一个a标签本身这个对象(这是一个Html标签元素对象)

4.

Html标签元素对象[‘href‘])

# 获取Html标签元素对象的 链接地址 这个属性

5.

Html标签元素对象.get(‘href‘)

# 获取Html标签元素对象的 链接地址 这个属性

6.

msgbox(a.string)

#----获取Html标签元素对象的内含文本内容(innertext)

7.

BeautifulSoup对象.Html标签元素对象.contents

#---获取一个Html标签元素对象下的所有子对象集

#返回的是列表,列表中的元素,包括了此Html标签元素对象下的直属一级子对象。

8.

BeautifulSoup对象.Html标签元素对象.children

#---获取一个Html标签元素对象下的所有子对象集

#返回的是一个迭代器对象,其中的内容与上一个属性获取的一致

二、今天主要找到的网文资料

https://blog.csdn.net/qq_42787271/article/details/81612428

感谢博主的分享!

然后我根据这个资料进行了自己的测试。

三、我的测试代码:

```

import requests

from bs4 import BeautifulSoup

import _mty

strHtml=‘‘‘

<html><head><title>孤荷凌寒的测试网页qq:578652607</title>

<style>

.title{

font-size:20px;

}

.story{

font-size:12px;

}

#divfirst{

font-size:30px;

}

</style>

</head>

<body>

现在网页的BODY部分开始:

<div id="divfirst" class="story">

现在第一个p标签马上开始:

<p id="firstptag" class="title"><b>这是在第一个P标签中的TEXT</b></p>

<p class="story">现在分享一些网站链接:

</br>

<a href="http://www.baidu.com/" class="sister"

id="link1">1.百度链接</a>,

<a href="http://www.taobao.com/" class="sister"

id="link2">2.淘宝链接</a> and

<a href="3.http://www.jianshu.com/" class="sister"

id="link3">简书链接</a>;

</br>

所有链接分享完了</p>

现在第一个P标签已结束。

</div>

接下来第二个DIV开始

<div id="divsecond" class="title">

<p class="story">

<a href="http://www.lhghroom.cn/" id="a_ghlh"><span id="spanone">4.孤荷凌寒的小站</span></a>

</p>

</div>

现在body部分结束了

</body>

</html>

‘‘‘

def msgbox(info,titletext=‘孤荷凌寒的DB模块对话框QQ578652607‘,style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

def myfirst(s,h):

#r=requests.get(s,headers=h)

#print(r.text) #r.text得到的是页面源html代码

bs=BeautifulSoup(strHtml,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

#-----测试用法

#strnew=bs.prettify()  #对html源代码 进行了美化。

#print(strnew)

#-------访问html文档中第一个指定tag标识的html标签元素的方法-----------

#print(bs.p) #这种方法将返回html文档中的第一个p标签本身这个对象,不是文本,但Print之后会显示为如:【<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>】

#print(bs.p) #重复执行,也只是返回html文档 中的第一个P标签

#msgbox(str(bs.a)) #bs.a 返回的是一个对象,而不是文本字符串

#a=bs.a #得到了Html文档中的第一个a标签本身这个对象

#-----获取Html标签元素对象的属性,及相关对象--------------

#---以字典的方式 存放着Html标签元素对象的属性----

#msgbox(a[‘href‘])  #a的Html标签元素对象的 链接地址 这个属性

#msgbox(a.get(‘href‘))

#----标签的内嵌内容(innertext)存放在Html标签元素对象的string属性中

#msgbox(a.string)

#---获取一个Html标签元素对象下的所有子对象集-------------------------------------------

#elements=bs.body.contents  #返回的是列表,列表中的元素,包括了此Html标签元素对象下的直属一级子对象。

#print(elements)

elements=bs.body.children #返回的是一个迭代器对象,其中的内容与上一个属性获取 的一致

print(list(elements))

#-----------------------

strurl=‘http://www.dianping.com/‘

header={

‘Host‘:‘www.dianping.com‘,

‘User-Agent‘:‘Mozilla/5.0
(Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/68.0.3440.106 Safari/537.36‘

}

myfirst(strurl,header)

```

其中最后一步修改后的测试结果如下:

[‘\n现在网页的BODY部分开始:\n‘,
<div class="story" id="divfirst">

现在第一个p标签马上开始:

<p
class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>

<p class="story">现在分享一些网站链接:

<a
class="sister" href="http://www.baidu.com/"
id="link1">1.百度链接</a>,

<a
class="sister" href="http://www.taobao.com/"
id="link2">2.淘宝链接</a> and

<a
class="sister" href="3.http://www.jianshu.com/"
id="link3">简书链接</a>;

所有链接分享完了</p>

现在第一个P标签已结束。

</div>, ‘\n接下来第二个DIV开始\n‘,
<div class="title" id="divsecond">

<p
class="story">

<a
href="http://www.lhghroom.cn/" id="a_ghlh"><span
id="spanone">4.孤荷凌寒的小站</span></a>

</p>

</div>, ‘\n现在body部分结束了\n‘]

——————————

今天整理的学习笔记完成,最后例行说明下我的自学思路:

根据过去多年我自学各种编程语言的经历,认为只有真正体验式,解决实际问题式的学习才会有真正的效果,即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言,没有学习同伴,也没有高师在上,甚至电脑都是孤岛(乡村那时还没有网络),有的只是一本旧书,在痛苦的自学摸索中,我找到适应自己零基础的学习方法:首先是每读书的一小节就作相应的手写笔记,第二步就是上机测试每一个笔记内容是否实现,其中会发现书中讲的其实有出入或错误,第三步就是在上机测试之后,将笔记改为电子版,形成最终的修订好的正确无误的学习笔记

通过反复尝试错误,在那个没有分享与交流的黑暗时期我摸黑学会了VB6,尔后接触了其它语言,也曾听过付费视频课程,结果发现也许自己学历果然太低,就算是零基础的入门课程,其实也难以跟上进度,讲师的教学多数出现对初学者的实际情况并不了解的情况,况且学习者的个体也存在差异呢?当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学,继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路,没有导师直接输入式的教学来得直接,好在网络给我们带来无限搜索的机会,大家在网络上的学习日志带给我们共享交流的机会,而QQ群等交流平台、网络社区的成立,我们可以一起自学,互相批评交流,也可以获得更有效,更自主的自学成果。

于是我以人生已过半的年龄,决定继续我的编程自学之路,开始学习python,只希望与大家共同交流,一个人的独行是可怕的,只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点!欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在,于是本来在孤独学习之路上的我们变得不再孤独,因为网络就是一个新的客厅,我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现,更希望大家能够对我学习过程中的错误给予指点——是的,这样我就能有许多免费的高师了——这也是分享时代,社区时代带来的好福利,我相信大家会的,是吧!

根据完全共享的精神,开源互助的理念,我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制,但因为4K高清文件太大均超过5G以上,所以无法上传至网络,如有需要可联系我QQ578652607对传,乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

我的学习过程录像百度盘地址分享如下:(清晰度:1280x720)

链接:https://pan.baidu.com/s/1JesRSIGxxT33g6xgeUsTDQ

提取码:3mem

Bilibili

B站退回了今天视频的发布申请,原因如下:

【7:17-7:25】根据国家相关法律法规政策,加强对时政内容、新闻信息的管理,暂停个人上传时政内容、新闻信息,现将您的稿件予以打回,敬请谅解。

喜马拉雅语音笔记:

https://www.ximalaya.com/keji/19103006/152590964

原文地址:https://www.cnblogs.com/lhghroom/p/10269274.html

时间: 2024-10-10 07:20:28

孤荷凌寒自学python第六十八天学习并实践beautifulsoup模块1的相关文章

孤荷凌寒自学python第六十二天学习mongoDB的基本操作并进行简单封装1

(完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第八天. 今天开始学习mongoDB的简单操作,并对一些可能反复经常使用的操作进行简单的封装. 今天成功了解并实测完成了向mongoDB数据库中添加记录的操作,详细学习过程见屏幕录屏学习过程. 测试代码如下: [ceshi.py] ``` from pymongo import MongoClient import datetime import _mty import _mf import _mre import _cl

孤荷凌寒自学python第六十六天学习mongoDB的基本操作并进行简单封装5

孤荷凌寒自学python第六十六天学习mongoDB的基本操作并进行简单封装5并学习权限设置 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十二天. 今天继续学习mongoDB的简单操作,并继续对一些可能反复经常使用的操作进行简单的封装.同时通过搜索了解了如何对本地Mongo数据库进行权限设置(没有实践本地数据库的用户权限设置.) 按个人规划,今天是初步了解学习MongoDb数据库的最后一个学习日,后续将在真正使用此数据库时,再对其进行深入研究. 一.今天完成了两个可

孤荷凌寒自学python第六十五天学习mongoDB的基本操作并进行简单封装4

(完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十一天. 今天继续学习mongoDB的简单操作,并继续对一些可能反复经常使用的操作进行简单的封装. 今天成功了解并实测完成了向mongoDB数据库中删除记录的操作,详细学习过程见屏幕录屏学习过程. 一.首先解决了昨天没有解决的修改记录的问题 今天花了一定的时间认真看相关资料,发现在修改记录时: [方法一]: 集合对象.update({查询记录的筛选条件字典},{要修改的字段的信息},True) 这种方法与下面的方法结果 是

孤荷凌寒自学python第六十九天学习并实践beautifulsoup对象用法2

(完整学习过程屏幕记录视频地址在文末) 今天继续学习beautifulsoup对象的属性与方法等内容. 一.今天进一步了解到的BeautifulSoup模块中的一些用法小结: 1. Html标签对象.parent #返回直接上一级父级对象整体 2. Html标签对象.parents #parents返回从a对象的直接父级对象开始的各个逐个上升的父级直到<html></html>级为止的宗谱链,是一个生成器 3. Html标签对象.next_sibling #获取当前Html标签对象

孤荷凌寒自学python第五十八天成功使用python来连接上远端MongoDb数据库

(完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第四天.今天的感觉是,mongoDB数据库的知识点非常庞大,目前只算是刚刚看见一隅而已. 一.今天经过长时间的努力,终于找到了正确连接到mongoDB远端服务的方法 都是使用MongoClient类的初始化方法进行. 但传入的参数是不同的: (一)传入从mongoDB服务器网站上获取的连接字符串 如: client = MongoClient("mongodb://user:[email protected]/the_dat

孤荷凌寒自学python第八十二天学习爬取图片2

(完整学习过程屏幕记录视频地址在文末) 今天在昨天基本尝试成功的基础上,继续完善了文字和图片的同时爬取并存放在word文档中. 一.我准备爬取一个有文字也有图片的博客页面 https://www.cnblogs.com/forever-snow/p/8506746.html 二.具体代码 ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import os from

孤荷凌寒自学python第五十二天初次尝试使用python读取Firebase数据库中记录

(完整学习过程屏幕记录视频地址在文末) 今天继续研究Firebase数据库,利用google免费提供的这个数据库服务,今天主要尝试使用firebase_admin模块来连接firebase数据库. 获得成功. 一.简单总结下今天对firebase_admin模块对象的学习 (一)要通过firebase_admin模块连接到firebase数据库,那么必须要拥有一个从firebase网站上自己的数据库的[用户和权限]处设置的'连接私钥'等相关信息的一个json文件,并下载到项目文件夹中来. (二)

孤荷凌寒自学python第八十天开始写Python的第一个爬虫10

(完整学习过程屏幕记录视频地址在文末) 原计划今天应当可以解决读取所有页的目录并转而取出所有新闻的功能,不过由于学习时间不够,只是进一步优化了自定义函数的写法. 一.优化并新增了几个操作word文档的函数 ``` #!/usr/bin/env python3 # -*- coding: utf-8 -*- import string import time import random from docx.enum.style import WD_STYLE_TYPE #所有样式 (包括段落.文字

孤荷凌寒自学python第八十一天学习爬取图片1

(完整学习过程屏幕记录视频地址在文末) 通过前面十天的学习,我已经基本了解了通过requests模块来与网站服务器进行交互的方法,也知道了BeautifulSoup模块的基本用法. 但之前的学习主要还是获取网页上的文字内容为主,从今天起我开始尝试学习从网页上获取其中的图片并下载到本地. 一.首先加深了对requests模块的认识 找到了requests模块的官方文档: http://docs.python-requests.org/en/latest/user/quickstart/ 是全英文的