用简单的例子说明BeautifulSoup库的使用

"ISO-8859-1BeautifulSoup库,为python外库,使用前要先安装,主要功能就是用来解析HTML代码,挖出我们相要的数据下面是一个例子,拿到500万网站的近30期双色球的开奖号码
import requestsfrom bs4 import BeautifulSoup  #引入库url="https://datachart.500.com/ssq/?expect=100"re=requests.get(url)if re.status_code==200:  #表示请求成功,可以继续往下面走   if re.encoding=="ISO-8859-1":       html=re.text.encode("ISO-8859-1").decode("GBK")	#ISO-8859-1要转码,不然中文有乱码	   else:       html=re.text	#utf-8编码直接用,soup=BeautifulSoup(html, ‘lxml‘)    #没安装lxml的要安装,不然要报错#获得期号re_id=soup.tbody.findAll("td",attrs={"align":"center"})    #属性选择器qihao=[x.string for x in re_id]     #[x.get_text() for x in re_id]都可以,string是去掉标签,获得内容print(qihao)        #[‘19072 ‘, ‘19073 ‘, ‘19074 ‘, ‘19075 ‘, ...]#获得红与蓝球re_red=soup.tbody.tr.findAll("td",attrs={"class":"chartBall01"})  #通过属性选择器获得红球代码块re_blue=soup.tbody.tr.findAll("td",attrs={"class":"chartBall02"})  #通过属性选择器获得蓝球代码块#再将标签去掉,得到纯内容r=[x.string for x in re_red]	#python列表生成式,不用多说b=[x.string for x in re_blue]newr=r[-7:-1]  #用切片获得最新一期红球,newb=b[-1]   	    #最新一期的蓝球

#拿到自己相要的数据了,下面就是数据的整理,分析...

#下面再帖点findAll的一些用法
soup.find_all("p")soup.find_all("title")soup.find_all(id="link2")soup.find_all(id="link2",limit=2)soup.find_all(id=True)soup.find_all(id=True)soup.find_all("a",class_="classname")soup.find_all(text="文本内容")soup.find_all(text=["tanghao","laowang"])soup.find_all("a",attrs={"class":"classname"})soup.select("p.title")

原文地址:https://www.cnblogs.com/yiyea/p/11441628.html

时间: 2024-10-28 12:05:18

用简单的例子说明BeautifulSoup库的使用的相关文章

duilib DirectUI库里面的一个简单的例子RichListDemo

http://blog.csdn.net/zengraoli/article/details/9993153 2013-08-16 00:08 3289人阅读 评论(2) 收藏 举报 目录(?)[+] 1.首先来看这里的CRichListWnd 已经不再是从CWindowWnd继承了 classCRichListWnd:publicWindowImplBase 从WindowImplBase中,可以看到有三个抽象函数: virtualCDuiStringGetSkinFolder()=0; vi

BeautifulSoup库的简单实用

1.BeautifulSoup库的简单理解 打开一个简单的html文件(每一对尖括号形成一个标签,标签之间有上下之间的关系,形成了标签树) <html> <body> <p class="title">....</p> </body> </html> BeautifulSoup库是解析.遍历.维护“标签树”的功能库. 针对其中一个标签进行举例说明: 2.BeautifulSoup库的引用 最常用的是: from b

Android中关于JNI 的学习(零)简单的例子,简单地入门

Android中JNI的作用,就是让Java能够去调用由C/C++实现的代码,为了实现这个功能,需要用到Anrdoid提供的NDK工具包,在这里不讲如何配置了,好麻烦,配置了好久... 本质上,Java去调用C/C++的代码其实就是去调用C/C++提供的方法,所以,第一步,我们要创建一个类,并且定义一个Native方法,如下: JniTest类: public class JniTest { public native String getTestString(); } 可以看到,在这个方法的前

Selenium 简单的例子

Selenium是一个web自动化验收测试框架. ? Selenium Client Driver - Selenium 2.0 Document http://seleniumhq.github.io/selenium/docs/api/py/index.html ? ? 例子0: 打开一个Firefox浏览器 加载指定的URL ? ? from selenium import webdriver browser = webdriver.Firefox()browser.get('http:/

python下载安装BeautifulSoup库

python下载安装BeautifulSoup库 1.下载https://www.crummy.com/software/BeautifulSoup/bs4/download/4.5/ 2.解压到解压到python目录下: 3.“win+R”进入cmd:依次输入如下代码: C:\Users\Administrator>cd D:\softwareIT\Python27\beautifulsoup4-4.5.0 C:\Users\Administrator>d: D:\softwareIT\Py

四 . 爬虫 BeautifulSoup库参数和使用

一  .BeautifulSoup库使用和参数 1 .Beautiful简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等功能.它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序.Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码.你

BeautifulSoup库的使用

一.beautifulSoup库的安装 pip install BeautifulSoup 二.beautifulsoup库的使用 1.调用beautifulsoup库 from bs4 import beautifulsoup4 import bs4 2.beautifulsoup简单使用 from bs4 import BeautifulSoup soup = BeautifulSoup("<html>data<html>","html.parse

SDAutoLayout:比masonry更简单易用的自动布局库

SDAutoLayout:一行代码搞定自动布局!支持Cell和Tableview高度自适应,Label和ScrollView内容自适应,致力于做最简单易用的AutoLayout库. [SDAutoLayout 视频教程:http://www.letv.com/ptv/vplay/24038772.html] ☆新增:cell高度自适应 + label文字自适应☆ >>>>> tableview cell 自动高度设置只需要3步 1. >> 设置cell高度自适应:

用最简单的例子理解对象为Null模式(Null Object Pattern)

所谓的"对象为Null模式",就是要求开发者考虑对象为Null的情况,并设计出在这种情况下的应对方法. 拿"用最简单的例子理解策略模式(Strategy Pattern) "中的例子来说,在我们的客户端程序中只考虑了用户输入1,2,3的情况,如果用户输入其它数字,比如4,就没有一个对应的IBall接口实现类实例产生,于是会报如下的错: 为了应对这种情况,我们专门设计一个类,当用户输入1,2,3以上的数字,就产生该类的实例.该类同样实现IBall接口. public