python网络爬虫与信息提取——6.Re(正则表达式)库入门

1.正则表达式常用操作符

.         表示任何单个字符
[ ]    字符集,对单个字符给出取值范围        [abc]表示a、b、c,[a‐z]表示a到z单个字符
[^ ]     非字符集,对单个字符给出排除范围     [^abc]表示非a或b或c的单个字符
*      前一个字符0次或无限次扩展           abc* 表示 ab、abc、abcc、abccc等
+     前一个字符1次或无限次扩展           abc+ 表示 abc、abcc、abccc等
?     前一个字符0次或1次扩展                 abc? 表示 ab、abc
|      左右表达式任意一个                   abc|def 表示 abc、def

{m}   扩展前一个字符m次             ab{2}c表示abbc
{m,n}     扩展前一个字符m至n次(含n)       ab{1,2}c表示abc、abbc
^       匹配字符串开头                 ^abc表示abc且在一个字符串的开头
$      匹配字符串结尾                 abc$表示abc且在一个字符串的结尾
( )    分组标记,内部只能使用 | 操作符         (abc)表示abc,(abc|def)表示abc、def
\d    数字,等价于[0‐9]
\w   单词字符,等价于[A‐Za‐z0‐9_]

2.经典正则表达式实例

^[A‐Za‐z]+$                 由26个字母组成的字符串
^[A‐Za‐z0‐9]+$                 由26个字母和数字组成的字符串
^‐?\d+$                    整数形式的字符串
^[0‐9]*[1‐9][0‐9]*$                 正整数形式的字符串
[1‐9]\d{5}                     中国境内邮政编码,6位
[\u4e00‐\u9fa5]                匹配中文字符
\d{3}‐\d{8}|\d{4}‐\d{7}            国内电话号码,010‐68913536

IP地址字符串形式的正则表达式(IP地址分4段,每段0‐255)

\d+.\d+.\d+.\d+ 或 \d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}

精确写法 0‐99: [1‐9]?\d
100‐199: 1\d{2}
200‐249: 2[0‐4]\d
250‐255: 25[0‐5]
(([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5]).){3}([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5])

3.Re库是Python的标准库,主要用于字符串匹配

调用方式:import re

类型:

raw string类型(原生字符串类型)表示正则表达式,raw string是不包含对转义符再次转义的字符串,表示为:r‘text‘

string类型表示正则表达式,支持转义符

主要功能函数:

(1)re.search(pattern, string, flags=0)在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象
? pattern : 正则表达式的字符串或原生字符串表示
? string : 待匹配字符串
? flags  : 正则表达式使用时的控制标记

re.I re.IGNORECASE 忽略正则表达式的大小写,[A‐Z]能够匹配小写字符
re.M re.MULTILINE 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL 正则表达式中的.操作符能够匹配所有字符,默认匹配除换行外的所有字符
 (2)re.match(pattern, string, flags=0)从一个字符串的开始位置起匹配正则表达式,返回match对象
 (3)re.findall(pattern, string, flags=0) 搜索字符串,以列表类型返回全部能匹配的子串
 (5)re.split(pattern, string, maxsplit=0, flags=0) 将一个字符串按照正则表达式匹配结果进行分割,返回列表类型

maxsplit: 最大分割数,剩余部分作为最后一个元素输出
 (6)re.finditer(pattern, string, flags=0) 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象
 (7)re.sub(pattern, repl, string, count=0, flags=0) 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串

repl : 替换匹配字符串的字符串
count  : 匹配的最大替换次数

4.面向对象用法:编译后的多次操作

regex = re.compile(pattern, flags=0)将正则表达式的字符串形式编译成正则表达式对象
? pattern : 正则表达式的字符串或原生字符串表示
? flags  : 正则表达式使用时的控制标记

regex.search() 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象
regex.match() 从一个字符串的开始位置起匹配正则表达式,返回match对象
regex.findall() 搜索字符串,以列表类型返回全部能匹配的子串
regex.split() 将一个字符串按照正则表达式匹配结果进行分割,返回列表类型
regex.finditer() 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象
regex.sub() 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串

5.Match对象是一次匹配的结果,包含匹配的很多信息

属性:.string 待匹配的文本
.re 匹配时使用的patter对象(正则表达式)
.pos 正则表达式搜索文本的开始位置
.endpos 正则表达式搜索文本的结束位置

方法:.group(0) 获得匹配后的字符串
.start() 匹配字符串在原始字符串的开始位置
.end() 匹配字符串在原始字符串的结束位置
.span() 返回(.start(), .end())

6.贪婪匹配和最小匹配

同时匹配长短不同的多项,Re库默认采用贪婪匹配,即输出匹配最长的子串

最小匹配:

*? 前一个字符0次或无限次扩展,最小匹配
+? 前一个字符1次或无限次扩展,最小匹配
?? 前一个字符0次或1次扩展,最小匹配
{m,n}? 扩展前一个字符m至n次(含n),最小匹配

原文地址:https://www.cnblogs.com/Wang-Y/p/8480374.html

时间: 2024-07-30 10:56:46

python网络爬虫与信息提取——6.Re(正则表达式)库入门的相关文章

Python网络爬虫与信息提取(中国大学mooc)

目录 目录 Python网络爬虫与信息提取 淘宝商品比价定向爬虫 目标获取淘宝搜索页面的信息 理解淘宝的搜索接口翻页的处理 技术路线requests-refootnote 代码如下 股票数据定向爬虫 列表内容 爬取网站原则 代码如下 代码优化 Python网络爬虫与信息提取 淘宝商品比价定向爬虫 股票数据定向爬虫 1. 淘宝商品比价定向爬虫 功能描述 目标:获取淘宝搜索页面的信息 理解:淘宝的搜索接口翻页的处理 技术路线:requests-re[^footnote]. 代码如下: #CrowTa

python网络爬虫与信息提取【笔记】

以下是''网络爬虫''课程(中国MOOC)学习笔记 [万能的b站] 核心思想: The Website is the API 课程大纲: 一.Requests与robots.txt 1.Requeests 自动爬取HTML页面,自动网络请求提交 2.robots.txt 网络爬虫排除标准 二.BeautifulSoup解析HTML页面 三.Re正则表达式详解,提前页面关键信息 四.Scrapy网络爬虫原理介绍,专业爬虫框架介绍

PYTHON网络爬虫与信息提取[正则表达式的使用](单元七)

正则表达式由字符和操作符构成 . 表示任何单个字符 []字符集,对单个字符给出取值范围 [abc]或者关系  [a-z]表示 [^abc]表示非这里面的东西 非字符集 * 表示星号之前的字符出现0次或者无限次扩展 + 表示星号之前的字符出现一次或者无限次扩展 ? 表示出现0次或1扩展 | 表示左右表达式人取其一 abc|def --------------------------------------------------------------------- {m} 扩展前一个字符m次  

Python网络爬虫与信息提取(二)—— BeautifulSoup

Boautiful Soup BeautifulSoup官方介绍: Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. 官方网站:https://www.crummy.com/software/BeautifulSoup/ 1.安装 在"C:\Windows\System32"中找到"cmd.exe",使用管理员身份运行,在命令行中输入:"pip in

Python网络爬虫与信息提取-Requests库网络爬去实战

实例1:京东商品页面的爬取 import requests url="https://item.jd.com/2967929.html" try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[:1000]) except: print("爬取失败") 实例2:亚马逊商品页面的爬取 import requests url="https

Python网络爬虫与信息提取-Beautiful Soup 库入门

一.Beautiful Soup 库的安装 Win平台:"以管理员身份运行" cmd 执行 pip install beautifulsoup4 安装小测:from bs4 import BeautifulSoup soup=BeautifulSoup('<p>data</p>','html.parser') print(soup.prettify()) 二.Beautiful Soup 库的基本元素 1.BeautifulSoup类 from bs4 impo

python网络爬虫与信息提取mooc------爬取实例

实例一--爬取页面 1 import requests 2 url="https//itemjd.com/2646846.html" 3 try: 4 r=requests.get(url) 5 r.raise_for_status() 6 r.encoding=r.apparent_encoding 7 print(r.text[:1000]) 8 except: 9 print("爬取失败") 正常页面爬取 实例二--爬取页面 1 import requests

MOOC《Python网络爬虫与信息提取》学习过程笔记【requests库】第一周1-3

一得到百度网页的html源代码: >>> import requests >>> r=requests.get("http://www.baidu.com") >>> r.status_code #查看状态码,为200表示访问成功,其他表示访问失败 200 >>> r.encoding='utf-8' #更改编码为utf-8编码 >>> r.text #打印网页内容 >>> r.

python网络爬虫与信息提取之request的安装