前言
在Python中，需要对字符串进行大量的操作，有时需要从一个字符串中提取到特定的信息，用切片肯定是不行的，所有这一节记录两个强大的文本处理模块，一个是正则表达式re模块，另一个是中文处理模块jieba，Here wo go！
一、re模块
re模块的出现使得Python完全支持正则表达式，在学re模块之前，先来认识一下正则表达式
正则表达式使用单个字符串来描述、匹配出特定句法的字符串，在文本编辑中，正则表达式常用来检索、替换那些特定匹配模式的文本。正则表达式使用起来十分繁琐，但是它带来的功能确实无比强大的，掌握正则表达式之后，工作效率将会大幅度提高！
1. 正则表达式基本语法
定位符
正则表达式 描述 示例 ^ 行起始标记 ^import 匹配以import开头的行 $ 行尾标记 import$ 匹配以import结尾的行
限定符
正则表达式 描述 示例
. 匹配任意一个字符 impor.可以匹配到import、imporq、impor1等
+ 匹配之前项1次或者多次 import+可以匹配到import、importt、importtt等，但是不能匹配到impor
* 匹配之前项0次或者多次 import*可以匹配到impor、import、importt、importtt等
? 匹配之前项0次或者1次 impor?t可以匹配到impot、import，但是不能匹配到imporrt
[] 匹配包含在[字符]的任意字符 impor[tk]可以匹配到import、impork、importk、imporkt
[^] 匹配不包含在[^字符]的任意字符 impor[^tk]匹配不到import、impork、importk、imporkt [ - ] 匹配[字符-字符]中指定范围的任意一个字符 1234[5-7]可以匹配到12345、12346、12357 {n} 匹配之前项n次 [0-9]{5}表示匹配任意一个五位数 {n,} 匹配之前项至少n次 [0-9]{5,}表示匹配任意一个五位以上的数（包含五位数） {n,m} 匹配之前项n到m次 [0-9]{5,7}表示匹配任意一个五位到七位的数（包含五位数和七位数）
标记符
正则表达式 描述 示例 () 标记一个子表达式的开始和结束位置，供以后使用 ([0-9])表示匹配一个数字，之后可以使用它，比如替换掉它
转义符
正则表达式 描述 \n 匹配一个换行符 \f 匹配一个换页符 \r 匹配一个回车符 \s 匹配任何空白字符 \S 匹配任何非空白字符 \t 匹配一个制表符 \v 匹配一个垂直制表符 \cx 匹配一个Control-x，x在a-z和A-Z之间 \w 匹配数字字母下划线 \W 不匹配数字字母下划线 \d 匹配数字 \D 不匹配数字 \b 匹配一个单词边界，也就是指单词的结尾 \B 匹配非单词边界
说明：想要匹配出上述特殊字符，需要对其进行转义，例如想要匹配*号，则需要这样写\*
贪婪匹配和非贪婪匹配
贪婪匹配是全匹配，一直匹配到最后一个为止；非贪婪匹配则是匹配到一个就停止
正则表达式 描述 .* 贪婪匹配 .*? 非贪婪匹配 # <a>Hello,world!</a> #贪婪匹配：<.*>匹配到<a>Hello,world!</a> #非贪婪匹配：<.*?>匹配到<a>
2. re模块
re.match(pattern, string, flags=0) 「从字符串开头匹配一次，匹配成功返回结果，匹配失败返回None；pattern表示匹配模式、string表示原字符串、flags表示标志位，用来控制匹配模式」
In [7]: import re # 导入re模块
In [8]: test = ‘qwer1234asdf5678‘ #初始化一个字符串，用来示例
In [9]: re.match(‘\w‘, test) # 从开头匹配一个字母或数字或下划线
Out[9]: <_sre.SRE_Match object; span=(0, 1), match=‘q‘>
In [10]: re.match(‘\w+‘, test) # 从开头匹配数字或字母或下划线多个
Out[10]: <_sre.SRE_Match object; span=(0, 16), match=‘qwer1234asdf5678‘>
In [11]: re.match(‘\w.‘, test) # 从开头匹配一个字母或数字或下划线 和 一个任意字符
Out[11]: <_sre.SRE_Match object; span=(0, 2), match=‘qw‘>
In [12]: re.match(‘\w*‘, test) # 从开头匹配一个字母或数字或下划线 和 其他所有字符
Out[12]: <_sre.SRE_Match object; span=(0, 16), match=‘qwer1234asdf5678‘>
In [14]: re.match(‘\w{5}‘, test) # 从开头匹配5个字母或数字或下划线
Out[14]: <_sre.SRE_Match object; span=(0, 5), match=‘qwer1‘>
In [15]: re.match(‘\d‘,test) # 从开头匹配一个数字 # 匹配失败，返回None（也就是啥也不返回）
re.search(pattern, string, flags=0) 「从整个字符串中匹配一次，匹配成功返回结果，匹配失败返回None；pattern表示匹配模式、string表示原字符串、flags表示标志位，用来控制匹配模式」
In [17]: test Out[17]: ‘qwer1234asdf5678‘ In [18]: re.search(‘\w‘,test) # 匹配一个字母或数字或下划线 Out[18]: <_sre.SRE_Match object; span=(0, 1), match=‘q‘> In [19]: re.search(‘\d‘,test) # 匹配一个数字，即使数字不在开头也可以匹配到 Out[19]: <_sre.SRE_Match object; span=(4, 5), match=‘1‘>
re.findall(pattern, string, flags=0) 「从整个字符串中匹配多次，匹配成功返回所有结果的列表，匹配失败则返回空列表；pattern表示匹配模式、string表示原字符串、flags表示标志位，用来控制匹配模式」
In [25]: test Out[25]: ‘qwer1234asdf5678‘ In [26]: re.findall(‘\d‘,test) # 将所有数字匹配出来，返回列表 Out[26]: [‘1‘, ‘2‘, ‘3‘, ‘4‘, ‘5‘, ‘6‘, ‘7‘, ‘8‘]
re.finditer(pattern, string, flags=0) 「与findall类似，只是返回迭代器」
In [27]: test
Out[27]: ‘qwer1234asdf5678‘
In [28]: re.finditer(‘\d‘,test) # 可以看到返回的是迭代器
Out[28]: <callable_iterator at 0x1037e4c88>
In [29]: for _ in re.finditer(‘\d‘,test):
...: print(_)
<_sre.SRE_Match object; span=(4, 5), match=‘1‘>
<_sre.SRE_Match object; span=(5, 6), match=‘2‘>
<_sre.SRE_Match object; span=(6, 7), match=‘3‘>
<_sre.SRE_Match object; span=(7, 8), match=‘4‘>
<_sre.SRE_Match object; span=(12, 13), match=‘5‘>
<_sre.SRE_Match object; span=(13, 14), match=‘6‘>
<_sre.SRE_Match object; span=(14, 15), match=‘7‘>
<_sre.SRE_Match object; span=(15, 16), match=‘8‘>
标志位flags
标志位 描述 re.I 无视大小写 re.L 本地化识别匹配 re.S 使.匹配所有字符，默认情况下.不匹配换行符 re.M 多行匹配，将影响^和$ re.U 根据Unicode字符集解析，将影响\w,\W,\b,\B re.X 通过给予更灵活的格式以便将正则表达式写得更易于理解
In [30]: test = ‘ABCD123qwer567‘ In [31]: re.findall(‘[a-z]‘, test) # 匹配小写字母 Out[31]: [‘q‘, ‘w‘, ‘e‘, ‘r‘] In [33]: re.findall(‘[a-z]‘, test, re.I) # 匹配字母，不区分大小写 Out[33]: [‘A‘, ‘B‘, ‘C‘, ‘D‘, ‘q‘, ‘w‘, ‘e‘, ‘r‘]
In [34]: re.findall(pattern, string, re.I|re.M|re.S) # 多个标志位的写法
re.compile(pattern, flags=0) 「生成一个pattern对象，用于re.match、re.search、re.findall」
In [36]: test Out[36]: ‘ABCD123qwer567‘ In [37]: pattern = re.compile(‘\d‘) # 生成一个pattern对象 In [38]: re.findall(pattern, test) Out[38]: [‘1‘, ‘2‘, ‘3‘, ‘5‘, ‘6‘, ‘7‘] In [39]: re.match(pattern, test) In [40]: re.search(pattern, test) Out[40]: <_sre.SRE_Match object; span=(4, 5), match=‘1‘>
re.sub(pattern, repl, string, count=0, flags=0) 「替换匹配的字符串，pattern表示匹配模式、repl表示替换成的字符串，string表示原字符串（被替换字符串）、flags表示标志位，用来控制匹配模式」
In [51]: test = ‘ADFSA12fsf3456sfs234‘ In [52]: pattern = ‘\D‘ # 匹配非数字 In [53]: re.sub(pattern, ‘‘,test) # 将非数字替换为空 Out[53]: ‘123456234‘ # 结果只留下数字
贪婪匹配与非贪婪匹配
In [56]: test = ‘<h1>I am <MinuteSheep></h1>‘ In [57]: greedy_pattern = re.compile(‘>(.*)<‘) # 贪婪匹配模式 In [58]: no_greedy_pattern = re.compile(‘>(.*?)<‘) # 非贪婪匹配模式 In [59]: re.findall(greedy_pattern, test) # 贪婪匹配结果，寻找最后一个< Out[59]: [‘I am <MinuteSheep>‘] In [60]: re.findall(no_greedy_pattern, test) # 非贪婪匹配结果，寻找第一个< Out[60]: [‘I am ‘, ‘‘]
通常情况下先使用re.compile(非贪婪匹配)生成一个匹配模式，再使用re.findall()返回结果列表进行下一步操作
二、jieba模块
上面的re模块是否让你热血沸腾，正则表达式熟练使用后会给你的工作效率带来飞一般的提高，但如果让其来对一段中文进行分析词语来说，还是欠缺了许多，对于中文分词来说，第三方模块jieba会给你带来意想不到的结果
1. jieba安装
使用pip安装
pip install jieba
2. jieba分词模式
jieba拥有三种分词模式：精确模式、全模式、搜索引擎模式
2.1 精确模式（默认模式）jieba.cut(sentence, cut_all=False, HMM=True) 或者 jieba.lcut(sentence, cut_all=False, HMM=True) 「cut返回生成器，lcut返回列表；sentence表示要分割的句子、cut_all表示是否为全模式、HMM表示是否使用HMM」
In [1]: import jieba # 导入jieba模块 In [3]: test = ‘正则表达式熟练使用后会给你的工作效率带来飞一般的提高‘ In [4]: jieba.cut(test) # 精确模式，返回生成器 Out[4]: <generator object Tokenizer.cut at 0x1059c6990> In [6]: ‘:‘.join(jieba.cut(test)) Out[6]: ‘正则表达式:熟练:使用:后会:给:你:的:工作效率:带来:飞:一般:的:提高‘ In [7]: jieba.lcut(test) # 返回列表 Out[7]: [‘正则表达式‘, ‘熟练‘, ‘使用‘, ‘后会‘, ‘给‘, ‘你‘, ‘的‘, ‘工作效率‘, ‘带来‘, ‘飞‘, ‘一般‘, ‘的‘, ‘提高‘]
2.2 全模式 jieba.cut(sentence, cut_all=True, HMM=True) 或者 jieba.lcut(sentence, cut_all=True, HMM=True)
In [8]: test Out[8]: ‘正则表达式熟练使用后会给你的工作效率带来飞一般的提高‘ In [9]: jieba.cut(test, cut_all=True) # 使用全模式 Out[9]: <generator object Tokenizer.cut at 0x1059c02b0> In [10]: ‘:‘.join(jieba.cut(test, cut_all=True)) Out[10]: ‘正则:正则表达式:表达:表达式:达式:熟练:使用:后会:给:你:的:工作:工作效率:效率:带来:飞:一般:般的:提高‘
2.3 搜索引擎模式 jieba.cut_for_search(sentence, HMM=True) 或者 jieba.cut_for_search(sentence, HMM=True) 「搜索引擎模式粒度较细」
In [12]: test Out[12]: ‘正则表达式熟练使用后会给你的工作效率带来飞一般的提高‘ In [13]: jieba.cut_for_search(test) # 使用搜索引擎模式 Out[13]: <generator object Tokenizer.cut_for_search at 0x10b2acaf0> In [14]: ‘:‘.join(jieba.cut_for_search(test)) Out[14]: ‘正则:表达:达式:表达式:正则表达式:熟练:使用:后会:给:你:的:工作:效率:工作效率:带来:飞:一般:的:提高‘
通过上述三种模式可以明显看到分词的不同，根据世纪使用需求来确定使用那种模式吧
3. jieba添加词典
jieba模块中默认使用的词典为jieba.dt，默认的词典有时没有我们要用的词语，只有自己添加或调整词典才能解决
3.1 使用jieba函数增加新词 jieba.add_word(word, freq=None, tag=None) 「word表示新词、freq表示词频、tag表示词性」
In [24]: test Out[24]: ‘正则表达式熟练使用后会给你的工作效率带来飞一般的提高‘ In [25]: ‘:‘.join(jieba.cut(test, HMM=False)) Out[25]: ‘正则表达式:熟练:使用:后:会:给:你:的:工作效率:带来:飞:一般:的:提高‘ In [26]: jieba.add_word(‘后会‘) # 增加新词：后会 In [27]: ‘:‘.join(jieba.cut(test, HMM=False)) Out[27]: ‘正则表达式:熟练:使用:后会:给:你:的:工作效率:带来:飞:一般:的:提高‘ # 注意：自己添加新词或者改变词频后，使用HMM可能使新词无用
3.2 删除词语 jieba.del_word(word) 「删除词语」
In [29]: jieba.del_word(‘后会‘) # 删除词语：后会
3.3 改变词频 jieba.suggest_freq(segment, tune=False) 「segment表示要修改的词，用元组表示，tune表示是否能被分出来」
In [31]: test Out[31]: ‘正则表达式熟练使用后会给你的工作效率带来飞一般的提高‘ In [32]: ‘:‘.join(jieba.cut(test)) Out[32]: ‘正则表达式:熟练:使用:后:会:给:你:的:工作效率:带来:飞:一般:的:提高‘ In [35]: jieba.suggest_freq((‘正则‘,‘表达式‘),True) # 允许（正则、表达式）被分割出来，返回0则证明成功 Out[35]: 0 In [36]: ‘:‘.join(jieba.cut(test)) Out[36]: ‘正则:表达式:熟练:使用:后:会:给:你:的:工作效率:带来:飞:一般:的:提高‘
3.4 使用文件添加词典 jieba.load_userct(file_name) 「file_name表示要加载的字典文件名」
有时需要添加大量的新词汇，总不能一条一条的敲代码，jieba有一个加载新字典的方法：jieba.load_userct(file_name)
对要加载的字典是有格式要求的，一个词占一行，一行有三个部分（词语、词频、词性），用空格隔开，顺序不可颠倒，其中，词频和词性可以省略
4. 词频分析
4.1 词频分析 jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=(), withFlag=False) 「sentence表示要分析的句子、topK表示返回多少个高频词语（默认为20个）、withWeight表示返回词语时是否带权重、allowPOS表示仅分析指定词性的词」
import jieba.analyse # 需要单独导入jieba.analyse test = ‘‘‘ 《红楼梦》，中国古典长篇章回小说，是中国四大小说名著之一。《红楼梦》书内提及的别 名，还有《情僧录》、《风月宝鉴》[1]、《金陵十二钗》、《金玉缘》；故事是从女娲补>天时所剩下的一块石头讲起，因此又名《石头记》。乾隆四十九年甲辰（1784年）梦觉主人 序本题为《红楼梦》（甲辰梦序抄本）。1791年在第一次活字印刷（程甲本）后，《红楼梦》便取代《石头记》成为通行的书名。 原本前80回尚存。全本回数问题有两说：据脂砚斋批语，应少于114回；而据高鹗、程伟元>的版本，为百二十回。后来高鹗、程伟元取得后40回稿，并整理印行，即为目前较通行的120回全本。 程伟元称，自己经过多年收集，重金购得《红楼梦》后四十回残稿，并对不连贯的地方进行补缀。于1791年和1792年印行一百二十回《红楼梦》。一百多年间，《红楼梦》以此流传，受到读者欢迎。 从1969年代开始，胡适“大胆假设、小心求证”，认为后四十回非曹雪芹著，并提出高鹗续书后四十回，且后四十回不如前八十回，程乙本并非红楼梦最佳读本。胡适在甲戌本跋中举例，天香楼事合家皆知，“无不纳罕，都有些疑心”，程乙本竟作“无不纳闷，都有些伤心”，只 有些伤心而已吗？完全扭曲上下文意。 人民文学出版社认为后四十回是无名氏续，高鹗、程伟元整理。另外周汝昌则认为《红楼梦》原著共108回，现存78回，后30回迷失。 《红楼梦》被评为中国古典章回小说的巅峰之作，思想价值和艺术价值极高。在20世纪，《红楼梦》是中国最受重视的一部文学作品之一。因为其不完整，加上作者曹氏已亡故，所述内容又钜细靡遗，结局设定更是超乎寻常，留下许多谜团引人探究，也构成了一门学问——红 学。自胡适作《红楼梦考证》以来，一般认为曹雪芹以其家族的命运投射在《红楼梦》一书。 ‘‘‘ print(jieba.analyse.extract_tags(test, withWeight=True)) # 运行结果：
Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/n_/mj10v8d10h32_dzzwb8y3hs80000gn/T/jieba.cache
Loading model cost 0.800 seconds.
Prefix dict has been built succesfully.
[(‘红楼梦‘, 0.5276318504898648), (‘四十回‘, 0.297466902509009), (‘高鹗‘, 0.2214637790900901), (‘程伟元‘, 0.21540121626846845), (‘胡适‘, 0.13942106369594595), (‘甲辰‘, 0.1090893529972973), (‘程乙本‘, 0.10770060813423422), (‘1791‘, 0.10770060813423422), (‘章回小说‘, 0.09970688565675676), (‘全本‘, 0.0987048529081081), (‘石头记‘, 0.09738410088828829), (‘曹雪芹‘, 0.09400848422702703), (‘印行‘, 0.0883453431509009), (‘认为‘, 0.06910881164756758), (‘伤心‘, 0.0672914105409009), (‘通行‘, 0.06724799354603603), (‘无不‘, 0.06671542428864866), (‘古典‘, 0.06622546765531531), (‘有些‘, 0.06305848415594595), (‘周汝昌‘, 0.0626156650990991)]
python test.py 1.81s user 0.17s system 99% cpu 1.993 total
5.并行分词
5.1 打开并行分词 jieba.enable_parallel(num) 「num代表并行进程数」
5.2 关闭并行分词 jieba.disable_parallel()
In [1]: import jieba In [2]: jieba.enable_parallel(4) # 开启4个进程 Building prefix dict from the default dictionary ... Loading model from cache /var/folders/n_/mj10v8d10h32_dzzwb8y3hs80000gn/T/jieba.cache Loading model cost 0.793 seconds. Prefix dict has been built succesfully. In [4]: jieba.cut(‘我爱北京天安门‘) Out[4]: <generator object _pcut at 0x108dfc1a8> In [5]: jieba.disable_parallel() # 关闭并行分词
原文地址：https://www.cnblogs.com/minutesheep/p/10357209.html