jieba库及词频统计

 1 import jieba
 2 txt = open("C:\\Users\\Administrator\\Desktop\\流浪地球.txt", "r", encoding=‘utf-8‘).read()
 3 words  = jieba.lcut(txt)
 4 counts = {}
 5 for word in words:
 6     if len(word) == 1:  #排除单个字符的分词结果
 7         continue
 8     else:
 9         counts[word] = counts.get(word,0) + 1
10 items = list(counts.items())
11 items.sort(key=lambda x:x[1], reverse=True)
12 for i in range(10):
13     word, count = items[i]
14     print ("{0:<10}{1:>5}".format(word, count))

原文地址:https://www.cnblogs.com/wjaihui/p/10652366.html

时间: 2024-10-13 23:51:27

jieba库及词频统计的相关文章

运用jieba库进行词频统计

Python第三方库jieba(中文分词) 一.概述 jieba是优秀的中文分词第三方库- 中文文本需要通过分词获得单个的词语- jieba是优秀的中文分词第三方库,需要额外安装- jieba库提供三种分词模式,最简单只需掌握一个函数 二.安装说明 全自动安装:(cmd命令行)  pip install jieba 安装成功显示 三.特点 —— jieba分词 1. 原理:jieba分词依靠中文词库 - 利用一个中文词库,确定中文字符之间的关联概率- 中文字符间概率大的组成词组,形成分词结果-

使用jieba库与wordcloud库第三方库进行词频统计

一.jieba库与wordcloud库的使用 1.jieba库与wordcloud库的介绍 jieba 库的分词原理是利用一个中文词库,将待分词的内容与分词词库进行比对,通过图结构和动态规划方法找到最大概率的词组:除此之外,jieba 库还提供了增加自定义中文单词的功能. wordcloud是优秀的词云展示第三方库,以词语为基本单位,通过图形可视化的方式,更加直观和艺术的展示文本. 2.安装jieba库与wordcloud库 在运行里输入 pip install wordcloud和pip in

python实例:利用jieba库,分析统计金庸名著《倚天屠龙记》中人物名出现次数并排序

本实例主要用到python的jieba库 首先当然是安装pip install jieba 这里比较关键的是如下几个步骤: 加载文本,分析文本 txt=open("C:\\Users\\Beckham\\Desktop\\python\\倚天屠龙记.txt","r", encoding='utf-8').read() #打开倚天屠龙记文本 words=jieba.lcut(txt) #jieba库分析文本 对数据进行筛选和处理 for word in words:

用jieba库统计文本词频及云词图的生成

一.安装jieba库 :\>pip install jieba #或者 pip3 install jieba 二.jieba库解析 jieba库主要提供提供分词功能,可以辅助自定义分词词典. jieba库中包含的主要函数如下: jieba.cut(s)                                                               精确模式,返回一个可迭代的数据类型 jieba.cut(s,cut_all=True)                  

jieba库的使用与词频统计

1.词频统计 (1)词频分析是对文章中重要词汇出现的次数进行统计与分析,是文本 挖掘的重要手段.它是文献计量学中传统的和具有代表性的一种内容分析方法,基本原理是通过词出现频次多少的变化,来确定热点及其变化趋势. (2)安装jieba库 安装说明代码对 Python 2/3 均兼容 全自动安装:easy_install jieba 或者 pip install jieba / pip3 install jieba半自动安装:先下载 http://pypi.python.org/pypi/jieba

运用jieba库统计词频及制作词云

一.对新时代中国特色社会主义做词频统计 import jieba txt = open("新时代中国特色社会主义.txt","r",encoding="utf-8").read() words = jieba.lcut(txt) counts = {} for word in words: if len(word) == 1: continue else: counts[word] = counts.get(word,0)+1 items = l

jieba库词频统计练习

在sypder上运行jieba库的代码: import matplotlib.pyplot as pltfracs = [2,2,1,1,1]labels = 'houqin', 'jiemian', 'zhengjiehong','baogan','dadaima'explode = [ 0,0,0,0,0]plt.axes(aspect=1)plt.pie(x=fracs, labels=labels, explode=explode,autopct='%3.1f %%', shadow=T

jieba库分词统计

代码在github网站,https://github.com/chaigee/chaigee,中的z2.py文件 py.txt为团队中文简介文件 代码运行后词频统计使用xlwt库将数据发送到excel表格,如图,频数为1的省略 在excel表格作柱形图如图所示 由此分析我们团队的简介用词得出:我们团队不仅注重团队合作,而且注重团队分工,发扬队员风格,提高队员对项目的兴趣,做擅长的工作,多次提到宣言以此提高团队凝聚力. 原文地址:https://www.cnblogs.com/chaigee/p/

中文词频统计及词云制作

  1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?(认真想一想回答) 大数据会用到哪些技术? 2.中文分词 下载一中文长篇小说,并转换成UTF-8编码. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数. **排除一些无意义词.合并同一词. import jieba fr=open("复活.txt",'r',encoding='utf-8') s=list(jieba.cut(fr.read())) key=set(s) dic={} f