运用jieba库 寻找高频词

一、准备

1.首先 先用cmd 安装 jieba库,输入 pip install jieba

2.其次 本次要用到wordcloud库和 matplotlib库,也在cmd输入pip install matplotlib和pip install wordcloud

二、安装完之后,输入如下代码

 1 from wordcloud import WordCloud
 2 import matplotlib.pyplot as plt
 3 import jieba
 4 def create_word_cloud(filename):
 5     text = open("[轻之国度][川原砾][刀剑神域][01][艾恩葛朗特 上].txt","r",encoding=‘GBK‘).read()  #打开自己想要的文本
 6     wordlist = jieba.cut(text, cut_all=True)  # 结巴分词
 7     wl = " ".join(wordlist)
 8     wc = WordCloud(             #设置词云
 9         background_color="white",        # 设置背景颜色
10         max_words=20,        # 设置最大显示的词云数
11         font_path=‘C:/Windows/Fonts/simfang.ttf‘,        # 索引在C盘上的字体库
12         height=500,
13         width=500,
14         max_font_size=150,        # 设置字体最大值
15         random_state=150,        # 设置有多少种随机生成状态,即有多少种配色方案
16     )
17     myword = wc.generate(wl)  # 生成词云
18     plt.imshow(myword)    # 展示词云图
19     plt.axis("off")
20     plt.show()
21     wc.to_file(‘img_book.png‘)        # 把词云保存下
22 txt=open("[轻之国度][川原砾][刀剑神域][01][艾恩葛朗特 上].txt","r",encoding=‘GBK‘).read()   #打开自己想要的文本
23 words=jieba.lcut(txt)
24 counts={}
25 for word in words:
26     if len(word)==1:  #排除单个字符的分词结果
27         continue
28     else :
29         counts[word]=counts.get(word,0)+1
30 items=list(counts.items())
31 items.sort(key=lambda x:x[1],reverse=True)
32 for i in range(20):
33     word,count=items[i]
34     print ("{0:<20}{1:>5}".format(word,count))
35 if __name__ == ‘__main__‘:
36     create_word_cloud(‘[轻之国度][川原砾][刀剑神域][01][艾恩葛朗特 上]‘)

输入之后的界面按下F5

三、运行完毕出现的效果图

这里是搜索全文的前20个高频词

云词展示 完毕

原文地址:https://www.cnblogs.com/qq1079179226/p/10652404.html

时间: 2024-08-29 20:39:49

运用jieba库 寻找高频词的相关文章

用jieba库统计文本词频及云词图的生成

一.安装jieba库 :\>pip install jieba #或者 pip3 install jieba 二.jieba库解析 jieba库主要提供提供分词功能,可以辅助自定义分词词典. jieba库中包含的主要函数如下: jieba.cut(s)                                                               精确模式,返回一个可迭代的数据类型 jieba.cut(s,cut_all=True)                  

jieba库使用和好玩的词云

jieba库的使用: (1)  jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式.全模式和搜索引擎模式,下面是三种模式的特点. 精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析 全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据 搜索引擎模式:在精确模式的基础上,对长词再次进行切分. (2).jieba库常用函数 函数 描述 jieba.lcut(s) 精确模式,返回一个列表类型的分词结果>>>jieb

jieba 库的使用和好玩的词云

jieba库的使用: (1)  jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式.全模式和搜索引擎模式,下面是三种模式的特点. 精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析 全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据 搜索引擎模式:在精确模式的基础上,对长词再次进行切分. # -*- coding: utf-8 -*- import jieba seg_str = "好好学习,天天向上."

python 读写txt文件并用jieba库进行中文分词

python用来批量处理一些数据的第一步吧. 对于我这样的的萌新.这是第一步. #encoding=utf-8 file='test.txt' fn=open(file,"r") print fn.read() fn.close() 在控制台输出txt文档的内容,注意中文会在这里乱码.因为和脚本文件放在同一个地方,我就没写路径了. 还有一些别的操作. 这是文件open()函数的打开mode,在第二个参数中设置.特别需要注意一下.具体还有一些别的细节操作. http://www.jb51

python爬虫——京东评论、jieba分词、wordcloud词云统计

接上一章,抓取京东评论区内容. url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv399&productId=4560435&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1' 重点是productId--产品id.page--页码.pageSize:指定

jieba库基本使用

概述: jieba是优秀的中文分词第三方库,jieba分词依靠中文词库 https://pypi.org/project/jieba/ 安装:pip install jieba import jieba jieba分词的三种模式 精确模式:把文本精确的分开,不存在冗余单词 全模式:把文本中所有可能的词语都扫描出来,有冗余 搜索引擎模式:在精确模式基础上,对长词再次切分 jieba.lcut(s) 精确模式,返回一个列表类型的分词结果 jieba.lcut(s,cut_all=True) 全模式,

jieba库的使用与词频统计

1.词频统计 (1)词频分析是对文章中重要词汇出现的次数进行统计与分析,是文本 挖掘的重要手段.它是文献计量学中传统的和具有代表性的一种内容分析方法,基本原理是通过词出现频次多少的变化,来确定热点及其变化趋势. (2)安装jieba库 安装说明代码对 Python 2/3 均兼容 全自动安装:easy_install jieba 或者 pip install jieba / pip3 install jieba半自动安装:先下载 http://pypi.python.org/pypi/jieba

jieba库的使用

jieba库的使用: jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式.全模式和搜索引擎模式,下面是三种模式的特点. 精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析 全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据 搜索引擎模式:在精确模式的基础上,对长词再次进行切分. jieba的使用 # -*- coding: utf-8 -*-import jieba seg_str = "好好学习,天天向上.&qu

jieba库

一.jieba 库简介 (1) jieba 库的分词原理是利用一个中文词库,将待分词的内容与分词词库进行比对,通过图结构和动态规划方法找到最大概率的词组:除此之外,jieba 库还提供了增加自定义中文单词的功能. (2) jieba 库支持3种分词模式: 精确模式:将句子最精确地切开,适合文本分析. 全模式:将句子中所以可以成词的词语都扫描出来,速度非常快,但是不能消除歧义. 搜索引擎模式:在精确模式的基础上,对长分词再次切分,提高召回率,适合搜索引擎分词. 二.安装库函数 (1) 在命令行下输