python 之 re模块（正则表达式）

一、起源（历史）

　　正则表达式的“鼻祖”或许可一直追溯到科学家对人类神经系统工作原理的早期研究。美国新泽西州的Warren McCulloch和出生在美国底特律的Walter Pitts这两位神经生理方面的科学家，研究出了一种用数学方式来描述神经网络的新方法，他们创造性地将神经系统中的神经元描述成了小而简单的自动控制元，从而作出了一项伟大的工作革新。

　　在1956 年,一位名叫Stephen Kleene的数学科学家，他在Warren McCulloch和Walter Pitts早期工作的基础之上，发表了一篇题目是《神经网事件的表示法》的论文，利用称之为正则集合的数学符号来描述此模型，引入了正则表达式的概念。正则表达式被作为用来描述其称之为“正则集的代数”的一种表达式，因而采用了“正则表达式”这个术语。

　　之后一段时间，人们发现可以将这一工作成果应用于其他方面。Ken Thompson就把这一成果应用于计算搜索算法的一些早期研究，Ken Thompson是 Unix的主要发明人，也就是大名鼎鼎的Unix之父。Unix之父将此符号系统引入编辑器QED，然后是Unix上的编辑器ed，并最终引入grep。Jeffrey Friedl 在其著作《Mastering Regular Expressions (2nd edition)》（中文版译作：精通正则表达式，已出到第三版）中对此作了进一步阐述讲解，如果你希望更多了解正则表达式理论和历史，推荐你看看这本书。

　　自此以后，正则表达式被广泛地应用到各种UNIX或类似于UNIX的工具中，如大家熟知的Perl。Perl的正则表达式源自于Henry Spencer编写的regex，之后已演化成了pcre（Perl兼容正则表达式Perl Compatible Regular Expressions），pcre是一个由Philip Hazel开发的、为很多现代工具所使用的库。正则表达式的第一个实用应用程序即为Unix中的 qed 编辑器。

　　然后，正则表达式在各种计算机语言或各种应用领域得到了广大的应用和发展，演变成为计算机技术森林中的一只形神美丽且声音动听的百灵鸟。

以上是关于正则表达式的起源和发展的历史描述，如今正则表达式在基于文本的编辑器和搜索工具中依然占据着一个非常重要的地位。

　　在最近的六十年中，正则表达式逐渐从模糊而深奥的数学概念，发展成为在计算机各类工具和软件包应用中的主要功能。不仅仅众多UNIX工具支持正则表达式，近二十年来，在WINDOWS的阵营下，正则表达式的思想和应用在大部分 Windows 开发者工具包中得到支持和嵌入应用！从正则式在Microsoft Visual Basic 6 或 Microsoft VBScript到.NET Framework中的探索和发展，WINDOWS系列产品对正则表达式的支持发展到无与伦比的高度，几乎所有 Microsoft 开发者和所有.NET语言都可以使用正则表达式。如果你是一位接触计算机语言的工作者，那么你会在主流操作系统（*nix[Linux, Unix等]、Windows、HP、BeOS等）、主流的开发语言（delphi、Scala、PHP、C#、Java、C++、Objective-c、Swift、VB、Javascript、Ruby以及Python等）、数以亿万计的各种应用软件中，都可以看到正则表达式优美的舞姿。

二、概念

　　正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

三、引擎（略）

四、字符

　　字符分为普通字符和元字符：

　　普通字符：包括大小写的字符和数字。

　　元字符：(如下)

五、re模块

 re.compile(pattern, flags=0)

re.DEBUG

re.I

re.IGNORECASE

re.L

re.LOCALE

re.M

re.MULTILINE

re.S

re.DOTALL

re.U

re.UNICODE

re.X

re.VERBOSE

re.search(pattern, string, flags=0)

re.match(pattern, string, flags=0)

re.split(pattern, string, maxsplit=0, flags=0)

re.findall(pattern, string, flags=0)

re.finditer(pattern, string, flags=0)

re.sub(pattern, repl, string, count=0, flags=0)

re.subn(pattern, repl, string, count=0, flags=0)

re.escape(string)

re.purge()

六、举例

prog = re.compile(pattern)
result = prog.match(string)等同于   result = re.match(pattern, string)

1. match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]): 
   这个方法将从string的pos下标处起尝试匹配pattern；如果pattern结束时仍可匹配，则返回一个Match对象；如果匹配过程中pattern无法匹配，或者匹配未结束就已到达endpos，则返回None。 
   pos和endpos的默认值分别为0和len(string)；re.match()无法指定这两个参数，参数flags用于编译pattern时指定匹配模式。 
   注意：这个方法并不是完全匹配。当pattern结束时若string还有剩余字符，仍然视为成功。想要完全匹配，可以在表达式末尾加上边界匹配符‘$‘。 
   示例参见2.1小节。
2. search(string[, pos[, endpos]]) | re.search(pattern, string[, flags]): 
   这个方法用于查找字符串中可以匹配成功的子串。从string的pos下标处起尝试匹配pattern，如果pattern结束时仍可匹配，则返回一个Match对象；若无法匹配，则将pos加1后重新尝试匹配；直到pos=endpos时仍无法匹配则返回None。 
   pos和endpos的默认值分别为0和len(string))；re.search()无法指定这两个参数，参数flags用于编译pattern时指定匹配模式。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

   # encoding: UTF-8 import re # 将正则表达式编译成Pattern对象 pattern = re.compile(r‘world‘) # 使用search()查找匹配的子串，不存在能匹配的子串时将返回None # 这个例子中使用match()无法成功匹配 match = pattern.search(‘hello world!‘) if match:     # 使用Match获得分组信息     print match.group() ### 输出 ### # world

3. split(string[, maxsplit]) | re.split(pattern, string[, maxsplit]): 
   按照能够匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将全部分割。

   1 2 3 4 5 6 7

   import re p = re.compile(r‘\d+‘) print p.split(‘one1two2three3four4‘) ### output ### # [‘one‘, ‘two‘, ‘three‘, ‘four‘, ‘‘]

4. findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags]): 
   搜索string，以列表形式返回全部能匹配的子串。

   1 2 3 4 5 6 7

   import re p = re.compile(r‘\d+‘) print p.findall(‘one1two2three3four4‘) ### output ### # [‘1‘, ‘2‘, ‘3‘, ‘4‘]

5. finditer(string[, pos[, endpos]]) | re.finditer(pattern, string[, flags]): 
   搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。

   1 2 3 4 5 6 7 8

   import re p = re.compile(r‘\d+‘) for m in p.finditer(‘one1two2three3four4‘):     print m.group(), ### output ### # 1 2 3

6. sub(repl, string[, count]) | re.sub(pattern, repl, string[, count]): 
   使用repl替换string中每一个匹配的子串后返回替换后的字符串。 
   当repl是一个字符串时，可以使用\id或\g<id>、\g<name>引用分组，但不能使用编号0。 
   当repl是一个方法时，这个方法应当只接受一个参数（Match对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。 
   count用于指定最多替换次数，不指定时全部替换。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

   import re p = re.compile(r‘(\w+) (\w+)‘) s = ‘i say, hello world!‘ print p.sub(r‘\2 \1‘, s) def func(m):     return m.group(1).title() + ‘ ‘ + m.group(2).title() print p.sub(func, s) ### output ### # say i, world hello! # I Say, Hello World!

   d

7. subn(repl, string[, count]) |re.sub(pattern, repl, string[, count]): 
   返回 (sub(repl, string[, count]), 替换次数)。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

   import re p = re.compile(r‘(\w+) (\w+)‘) s = ‘i say, hello world!‘ print p.subn(r‘\2 \1‘, s) def func(m):     return m.group(1).title() + ‘ ‘ + m.group(2).title() print p.subn(func, s) ### output ### # (‘say i, world hello!‘, 2) # (‘I Say, Hello World!‘, 2)

以上就是Python对于正则表达式的支持。熟练掌握正则表达式是每一个程序员必须具备的技能，这年头没有不与字符串打交道的程序了。笔者也处于初级阶段，与君共勉，^_^

另外，图中的特殊构造部分没有举出例子，用到这些的正则表达式是具有一定难度的。有兴趣可以思考一下，如何匹配不是以abc开头的单词，^_^

************************************************************************

************************************************************************

正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：

 七、具体应用举例：