#re模块 import re # findall 返回列表 找所有的匹配项 # search 匹配就 返回一个变量,通过group取匹配到的第一个值,不匹配就返回None,group会报错 # match 相当于search的正则表达式中加了一个‘^‘ # spilt 返回列表,按照正则规则切割,默认匹配到的内容会被切掉 # sub/subn 替换,按照正则规则去寻找要被替换掉的内容,subn返回元组,第二个值是替换的次数 # compile 编译一个正则表达式,用这个结果去search match findall finditer 能够节省时间 # finditer 返回一个迭代器,所有的结果都在这个迭代器中,需要通过循环+group的形式取值 能够节省内存 # 永远不要起一个py文件的名字 这个名字和你已知的模块同名 # regex # 查找 # findall : 匹配所有 每一项都是列表中的一个元素 ret = re.findall(‘\d+‘,‘sjkhk172按实际花费928‘) # 正则表达式,带匹配的字符串,flag ret = re.findall(‘\d‘,‘sjkhk172按实际花费928‘) # 正则表达式,带匹配的字符串,flag print(ret) # search : 只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果 # 如果没有匹配到,会返回None,使用group会报错 ret = re.search(‘\d+‘,‘sjkhk172按实际花费928‘) print(ret) # 内存地址,这是一个正则匹配的结果 print(ret.group()) # 通过ret.group()获取真正的结果 ret = re.search(‘\d‘,‘owghabDJLBNdgv‘) print(ret) print(ret.group()) ret = re.search(‘\d+‘,‘sjkhk172按实际花费928‘) if ret : # 内存地址,这是一个正则匹配的结果 print(ret.group()) # 通过ret.group()获取真正的结果 # match 从头开始匹配,相当于search中的正则表达式加上一个^ ret = re.match(‘\d+$‘,‘172sjkhk按实际花费928‘) print(ret) # 字符串处理的扩展 : 替换 切割 # split s = ‘alex|taibai|egon|‘ print(s.split(‘|‘)) s = ‘alex83taibai40egon25‘ ret = re.split(‘\d+‘,s) print(ret) # sub # 谁 旧的 新的 替换次数 ret = re.sub(‘\d+‘,‘H‘,‘alex83taibai40egon25‘) print(ret) ret = re.sub(‘\d+‘,‘H‘,‘alex83taibai40egon25‘,1) print(ret) # subn 返回一个元组,第二个元素是替换的次数 ret = re.subn(‘\d+‘,‘H‘,‘alex83taibai40egon25‘) print(ret) # re模块的进阶 : 时间/空间 # compile 节省你使用正则表达式解决问题的时间 # 编译 正则表达式 编译成 字节码 # 在多次使用的过程中 不会多次编译 ret = re.compile(‘\d+‘) # 已经完成编译了 print(ret) res = ret.findall(‘alex83taibai40egon25‘) print(res) res = ret.search(‘sjkhk172按实际花费928‘) print(res.group()) # finditer 节省你使用正则表达式解决问题的空间/内存 ret = re.finditer(‘\d+‘,‘alex83taibai40egon25‘) for i in ret: print(i.group())
#分组在re模块中的使用 import re s = ‘<a>wahaha</a>‘ # 标签语言 html 网页 ret = re.search(‘<(\w+)>(\w+)</(\w+)>‘,s) print(ret.group()) # 所有的结果 print(ret.group(1)) # 数字参数代表的是取对应分组中的内容 print(ret.group(2)) print(ret.group(3)) # 为了findall也可以顺利取到分组中的内容,有一个特殊的语法,就是优先显示分组中的内容 ret = re.findall(‘(\w+)‘,s) print(ret) ret = re.findall(‘>(\w+)<‘,s) print(ret) # 取消分组优先(?:正则表达式) ret = re.findall(‘\d+(\.\d+)?‘,‘1.234*4‘) print(ret) # 关于分组 # 对于正则表达式来说 有些时候我们需要进行分组,来整体约束某一组字符出现的次数 # (\.[\w]+)? # 对于python语言来说 分组可以帮助你更好更精准的找到你真正需要的内容 # <(\w+)>(\w+)</(\w+)> # split ret = re.split(‘\d+‘,‘alex83taibai40egon25‘) print(ret) ret = re.split(‘(\d+)‘,‘alex83taibai40egon25aa‘) print(ret) # python 和 正则表达式 之间的特殊的约定 # 分组命名 (?P<这个组的名字>正则表达式) s = ‘<a>wahaha</a>‘ ret = re.search(‘>(?P<con>\w+)<‘,s) print(ret.group(1)) print(ret.group(‘con‘)) s = ‘<a>wahaha</a>‘ pattern = ‘<(\w+)>(\w+)</(\w+)>‘ ret = re.search(pattern,s) print(ret.group(1) == ret.group(3)) # 使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致 pattern = ‘<(?P<tab>\w+)>(\w+)</(?P=tab)>‘ ret = re.search(pattern,s) print(ret) # 2018-12-06 # 2018.12.6 # 2018 12 06 # 12:30:30
#使用正则表达式的技巧 import re ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))") # 从"1-2*(60+(-40.35/5)-(-4*3))"中取整数 # [‘1‘, ‘2‘, ‘60‘, ‘40‘, ‘35‘, ‘5‘, ‘4‘, ‘3‘] print(ret) # 你要匹配的内容太没有特点了 容易和你不想匹配的内容混在一起 # 精准的取到整数 过滤掉小数 ret=re.findall(r"\d+\.\d+|\d+","1-2*(60+(-40.35/5)-(-4*3))") print(ret) ret=re.findall(r"\d+\.\d+|(\d+)","1-2*(60+(-40.35/5)-(-4*3))") ret.remove(‘‘) print(ret) # 正则表达式如果写的足够好的话 能够最大限度的简化我们的操作
#爬虫实例 豆瓣电影top250 import re from urllib.request import urlopen def getPage(url): # 获取网页的字符串 response = urlopen(url) return response.read().decode(‘utf-8‘) def parsePage(s): ret = com.finditer(s) # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回 for i in ret: yield { "id": i.group("id"), "title": i.group("title"), "rating_num": i.group("rating_num"), "comment_num": i.group("comment_num"), } def main(num): # 0 25 50 # 这个函数执行10次,每次爬取一页的内容 url = ‘https://movie.douban.com/top250?start=%s&filter=‘ % num response_html = getPage(url) # response_html就是这个url对应的html代码 就是 str ret = parsePage(response_html) # ret是一个生成器 print(ret) f = open("move_info7", "a", encoding="utf8") for obj in ret: print(obj) data = str(obj) f.write(data + "\n") f.close() com = re.compile( ‘<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>‘ ‘.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>‘, re.S) count = 0 for i in range(10): main(count) count += 25
原文地址:https://www.cnblogs.com/PythonMrChu/p/9736277.html
时间: 2024-10-11 23:58:29