re模块,分组在re模块中的使用,使用正则表达式的技巧,爬虫实例

#re模块
import re

# findall 返回列表 找所有的匹配项
# search  匹配就 返回一个变量,通过group取匹配到的第一个值,不匹配就返回None,group会报错
# match   相当于search的正则表达式中加了一个‘^‘

# spilt   返回列表,按照正则规则切割,默认匹配到的内容会被切掉
# sub/subn 替换,按照正则规则去寻找要被替换掉的内容,subn返回元组,第二个值是替换的次数

# compile  编译一个正则表达式,用这个结果去search match findall finditer 能够节省时间
# finditer 返回一个迭代器,所有的结果都在这个迭代器中,需要通过循环+group的形式取值 能够节省内存

# 永远不要起一个py文件的名字 这个名字和你已知的模块同名
# regex

# 查找
# findall : 匹配所有 每一项都是列表中的一个元素
ret = re.findall(‘\d+‘,‘sjkhk172按实际花费928‘) # 正则表达式,带匹配的字符串,flag
ret = re.findall(‘\d‘,‘sjkhk172按实际花费928‘) # 正则表达式,带匹配的字符串,flag
print(ret)

# search : 只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果
# 如果没有匹配到,会返回None,使用group会报错
ret = re.search(‘\d+‘,‘sjkhk172按实际花费928‘)
print(ret)  # 内存地址,这是一个正则匹配的结果
print(ret.group()) # 通过ret.group()获取真正的结果

ret = re.search(‘\d‘,‘owghabDJLBNdgv‘)
print(ret)
print(ret.group())

ret = re.search(‘\d+‘,‘sjkhk172按实际花费928‘)
if ret :   # 内存地址,这是一个正则匹配的结果
    print(ret.group()) # 通过ret.group()获取真正的结果

# match 从头开始匹配,相当于search中的正则表达式加上一个^
ret = re.match(‘\d+$‘,‘172sjkhk按实际花费928‘)
print(ret)

# 字符串处理的扩展 : 替换 切割
# split
s = ‘alex|taibai|egon|‘
print(s.split(‘|‘))
s = ‘alex83taibai40egon25‘
ret = re.split(‘\d+‘,s)
print(ret)

# sub # 谁 旧的 新的 替换次数
ret = re.sub(‘\d+‘,‘H‘,‘alex83taibai40egon25‘)
print(ret)

ret = re.sub(‘\d+‘,‘H‘,‘alex83taibai40egon25‘,1)
print(ret)

# subn 返回一个元组,第二个元素是替换的次数
ret = re.subn(‘\d+‘,‘H‘,‘alex83taibai40egon25‘)
print(ret)

# re模块的进阶 : 时间/空间
# compile 节省你使用正则表达式解决问题的时间
# 编译 正则表达式 编译成 字节码
# 在多次使用的过程中 不会多次编译
ret = re.compile(‘\d+‘)   # 已经完成编译了
print(ret)
res = ret.findall(‘alex83taibai40egon25‘)
print(res)
res = ret.search(‘sjkhk172按实际花费928‘)
print(res.group())

# finditer 节省你使用正则表达式解决问题的空间/内存
ret = re.finditer(‘\d+‘,‘alex83taibai40egon25‘)
for i in ret:
    print(i.group())
#分组在re模块中的使用
import re
s = ‘<a>wahaha</a>‘  # 标签语言 html 网页
ret = re.search(‘<(\w+)>(\w+)</(\w+)>‘,s)
print(ret.group())  # 所有的结果
print(ret.group(1)) # 数字参数代表的是取对应分组中的内容
print(ret.group(2))
print(ret.group(3))

# 为了findall也可以顺利取到分组中的内容,有一个特殊的语法,就是优先显示分组中的内容
ret = re.findall(‘(\w+)‘,s)
print(ret)
ret = re.findall(‘>(\w+)<‘,s)
print(ret)

# 取消分组优先(?:正则表达式)
ret = re.findall(‘\d+(\.\d+)?‘,‘1.234*4‘)
print(ret)

# 关于分组
# 对于正则表达式来说 有些时候我们需要进行分组,来整体约束某一组字符出现的次数
# (\.[\w]+)?

# 对于python语言来说 分组可以帮助你更好更精准的找到你真正需要的内容
# <(\w+)>(\w+)</(\w+)>

# split
ret = re.split(‘\d+‘,‘alex83taibai40egon25‘)
print(ret)
ret = re.split(‘(\d+)‘,‘alex83taibai40egon25aa‘)
print(ret)

# python 和 正则表达式 之间的特殊的约定

# 分组命名 (?P<这个组的名字>正则表达式)
s = ‘<a>wahaha</a>‘
ret = re.search(‘>(?P<con>\w+)<‘,s)
print(ret.group(1))
print(ret.group(‘con‘))

s = ‘<a>wahaha</a>‘
pattern = ‘<(\w+)>(\w+)</(\w+)>‘
ret = re.search(pattern,s)
print(ret.group(1) == ret.group(3))

# 使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致
pattern = ‘<(?P<tab>\w+)>(\w+)</(?P=tab)>‘
ret = re.search(pattern,s)
print(ret)

# 2018-12-06
# 2018.12.6
# 2018 12 06
# 12:30:30
#使用正则表达式的技巧
import re

ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")
# 从"1-2*(60+(-40.35/5)-(-4*3))"中取整数
# [‘1‘, ‘2‘, ‘60‘, ‘40‘, ‘35‘, ‘5‘, ‘4‘, ‘3‘]
print(ret)

# 你要匹配的内容太没有特点了 容易和你不想匹配的内容混在一起
# 精准的取到整数 过滤掉小数

ret=re.findall(r"\d+\.\d+|\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret)
ret=re.findall(r"\d+\.\d+|(\d+)","1-2*(60+(-40.35/5)-(-4*3))")
ret.remove(‘‘)
print(ret)

# 正则表达式如果写的足够好的话 能够最大限度的简化我们的操作
#爬虫实例 豆瓣电影top250
import re
from urllib.request import urlopen

def getPage(url):   # 获取网页的字符串
    response = urlopen(url)
    return response.read().decode(‘utf-8‘)

def parsePage(s):
    ret = com.finditer(s)  # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回
    for i in ret:
        yield {
            "id": i.group("id"),
            "title": i.group("title"),
            "rating_num": i.group("rating_num"),
            "comment_num": i.group("comment_num"),
        }

def main(num):  # 0  25 50  # 这个函数执行10次,每次爬取一页的内容
    url = ‘https://movie.douban.com/top250?start=%s&filter=‘ % num
    response_html = getPage(url)   # response_html就是这个url对应的html代码 就是 str
    ret = parsePage(response_html) # ret是一个生成器
    print(ret)
    f = open("move_info7", "a", encoding="utf8")
    for obj in ret:
        print(obj)
        data = str(obj)
        f.write(data + "\n")
    f.close()

com = re.compile(
        ‘<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>‘
        ‘.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>‘, re.S)

count = 0
for i in range(10):
    main(count)
    count += 25

原文地址:https://www.cnblogs.com/PythonMrChu/p/9736277.html

时间: 2024-10-11 23:58:29

re模块,分组在re模块中的使用,使用正则表达式的技巧,爬虫实例的相关文章

Thinkphp入门 二 —空操作、空模块、模块分组、前置操作、后置操作、跨模块调用(46)

原文:Thinkphp入门 二 -空操作.空模块.模块分组.前置操作.后置操作.跨模块调用(46) [空操作处理] 看下列图: 实际情况:我们的User控制器没有hello()这个方法 一个对象去访问这个类不存在的方法,那么它会去访问”魔术方法__call()” 用户访问一个不存在的操作—>解决:给每个控制器都定义个_empty()方法来处理 第二个解决方法:定义一个空操作 [空模块处理] 我们使用一个类,但是现在这个类还没有被include进来. 我们可以通过自动加载机制处理__autoloa

python模块基础之getpass模块(pycharm中无法使用。)

python模块基础之getpass模块 getpass模块提供了可移植的密码输入,一共包括下面两个函数: 1. getpass.getpass() 2. getpass.getuser() getpass.getpass([prompt[, stream]]) 提示用户输入一段密码,参数 prompt 用于提示用户开始输入,默认为'Password: '.在 Unix 上,该提示符被写入到类文件对象流中.参数 stream 默认为控制终端 (/dev/tty) 或入过前者不可用时为 sys.s

ThinkPHP 学习之项目部署:应用部署方式与模块分组部署方式

/** * ThinkPHP version 3.1.3 */ ThinkPHP ( 官方网站:http://www.thinkphp.cn/ ) 目前最新版本是 3.2.2,它要求 PHP 的版本高于 5.3.0,由于我的 WAMPServer 集成的 PHP 版本是 5.2.6,所以下载了低一版本的 ThinkPHP ( 3.1.3 ) 来学习. 下载的 ThinkPHP 的框架包解压后的结构是: ├─ThinkPHP.php 框架入口文件 ├─Common 框架公共文件 ├─Conf 框架

verilog--关于将多个模块写在同一个源文件中的问题

经过在ISE编译器上测试,可以知道多个不同的模块(如上一随笔中脉动进位计数器.T触发器.D触发器)写在同一个源文件中编译能够通过. 同时,将每一个模块单独写成一个源文件也是可以的,但是要把他们放在同一个目录下.并且这种设计方式是一种比较好的设计风格,这样可以增加程序的可移植性,并且使开发者有比较顺畅的设计思路按照自顶向下或自底向上的设计方法进行设计,建议采用这种设计方法进行设计.

以下模块打印出超级块中某些字段的内容

以下模块打印出超级块中某些字段的内容. #include <linux/module.h> #include <linux/fs.h> #include <linux/init.h> #include <linux/list.h> #include <linux/spinlock.h> #include <linux/kdev_t.h> #define SUPER_BLOCKS_ADDRESS 0xc048db0c // from /

8.模块介绍 time &amp;datetime模块 random os sys shutil json &amp; picle shelve xml处理 yaml处理 configparser hashlib subprocess logging模块 re正则表达式

本节大纲: 模块介绍 time &datetime模块 random os sys shutil json & picle shelve xml处理 yaml处理 configparser hashlib subprocess logging模块 re正则表达式 模块,用一砣代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合.而对于一个复杂的功能来,可能需要多个函数才能完成(函数又可以在不同的.p

Day5 模块及Python常用模块

模块概述 定义:模块,用一砣代码实现了某类功能的代码集合. 为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,提供了代码的重用性.在Python中,一个.py文件就称之为一个模块(Module). 注意: 模块让你能够有逻辑地组织你的Python代码段. 把相关的代码分配到一个 模块里能让你的代码更好用,更易懂. 简单地说,模块就是一个保存了Python代码的文件.模块能定义函数,类和变量.模块里也能包含可执行的代码! 模块分为三种: 自定义模块 开源模块 内置模块 使用模块有什么

python 常用模块 time random os模块 sys模块 json &amp; pickle shelve模块 xml模块 configparser hashlib subprocess logging re正则

python 常用模块 time random os模块 sys模块 json & pickle shelve模块 xml模块 configparser hashlib  subprocess logging re正则 转自老男孩老师Yuan:http://www.cnblogs.com/yuanchenqi/articles/5732581.html 模块&包(* * * * *) 模块(modue)的概念: 在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,

python 模块之路 re模块运用

re模块    正则混合使用                  永远不要起一个py文件的名字   这个名字和你已知的模块同名  而且没有意义   文件名字要有意义 查找: findall : 匹配所有 每一项都是列表中的一个元素 ret = re.findall('\d+','sjkhk172按实际花费928') # 正则表达式,带匹配的字符串,flag ret = re.findall('\d','sjkhk172按实际花费928') # 正则表达式,带匹配的字符串,flag print(re