中文词频统计及词云制作

 

1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?(认真想一想回答)


大数据会用到哪些技术?


2.中文分词

  1. 下载一中文长篇小说,并转换成UTF-8编码。
  2. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
  3. **排除一些无意义词、合并同一词。

import jieba
fr=open("复活.txt",‘r‘,encoding=‘utf-8‘)
s=list(jieba.cut(fr.read()))
key=set(s)
dic={}
for i in key:
    if len(i)>1:
        dic[i]=s.count(i)
wc=list(dic.items())
wc.sort(key=lambda x:x[1],reverse=True)
for i in range(20):
    print(wc[i])
fr.close()

import jieba
fr=open("复活.txt",‘r‘,encoding=‘utf-8‘)
s=list(jieba.cut(fr.read()))
exp={‘,‘,‘\n‘,‘.‘,‘。‘,‘”‘,‘“‘,‘:‘,‘…‘,‘ ‘,‘?‘}
key=set(s)-exp
dic={}
for i in key:
    dic[i]=s.count(i)
wc=list(dic.items())
wc.sort(key=lambda x:x[1],reverse=True)
for i in range(20):
    print(wc[i])
fr.close()

时间: 2024-10-29 19:07:05

中文词频统计及词云制作的相关文章

+中文词频统计及词云制作9-25

1.我希望老师能讲一点python在数据挖掘,数据分析领域的应用,最好能举些实例,或者说带我们实际操作一波. 2.中文分词 下载一中文长篇小说,并转换成UTF-8编码   使用jieba库,进行中文词频统计,输出TOP20的词及出现次数. >>>import jieba >>>lr = open('斗破苍穹第一章.txt','w') >>>lr.write('''大陆名为斗气大陆,大陆上并没有小说中常见的各系魔法,而斗气,才是大陆的唯一主调! 在这片大

中文词频统计与词云生成

https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说. 2. 从文件读取待分析文本. 3. 安装并使用jieba进行中文分词. pip install jieba import jieba jieba.lcut(text) 4. 更新词库,加入所分析对象的专业词汇. jieba.add_word('天罡北斗阵')  #逐个添加 jieba.load_userdict(word_dict) 

Python -WordCloud安装、词云制作

一.WordCloud 安装 说明:Windows系统直接pip install wordcloud 是不行的,命令行会报错. 第一步:检查自己的Python 版本.Win+R ——>CMD——>命令行输入python,我的是python 3.7 win32位的 第二步:下载对应版本的WordCloud,进入 python 扩展包库 (非正式第三方whl文件包)下载 第三步:安装.命令行先定位到下载的wordcloud安装文件路径,再输入 pip install wordcloud-1.6.0

中文词频统计

中文分词 下载一中文长篇小说,并转换成UTF-8编码. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数. 排除一些无意义词.合并同一词. 对词频统计结果做简单的解读. import jieba txt=open('111.txt','r',encoding='utf-8').read() words=list(jieba.cut(txt)) keys=set(words) dic={} for w in keys: if len(w)>1: dic[w]=words.count

9-25提出问题和中文词频统计

1.中软国际华南区技术总监曾老师还会来上两次课.希望老师能够讲一下 现在的网络发展和现状,感觉计算机专业是最受欢迎的,但是凭借着每年不断毕业(增多)的人数,我们凭借着什么来跟好比如我们是网工专业,跟学软件班的同学去PK,去取得更好的就业岗位.并且一般现在看到比我们大一届的师兄师姐很多都是(大部分),只是谋求工作,而不能因为是学计算机,就能够谋求到一份好的关系到计算机的工作. 2.中文分词 下载一中文长篇小说,并转换成UTF-8编码. <水浒传>第一百零三回 张管营因妾弟丧身 范节级为表兄医脸

实验二-3 Hadoop&amp;Paoding 中文词频统计

  参考教程 在Hadoop上使用庖丁解牛(较复杂,并未采用,可以之后试试) http://zhaolinjnu.blog.sohu.com/264905210.html Lucene3.3.Lucene3.4中文分词——庖丁解牛分词实例(屈:注意版本) http://www.360doc.com/content/13/0217/13/11619026_266124504.shtml 庖丁分词在hadoop上运行时的配置问题(采纳了一半,没有按照其所写配置dic属性文件) http://f.da

初学Hadoop之中文词频统计

1.安装eclipse 准备 eclipse-dsl-luna-SR2-linux-gtk-x86_64.tar.gz 安装 1.解压文件. 2.创建图标. ln -s /opt/eclipse/eclipse /usr/bin/eclipse #使符号链接目录 vim /usr/share/applications/eclipse.desktop #创建一个  Gnome 启动 添加如下代码: [Desktop Entry] Encoding=UTF-8 Name=Eclipse 4.4.2

1.英文词频统2.中文词频统计

1.英文词频统 news=''' Guo Shuqing, head of the newly established China banking and insurance regulatory commission, was appointed Party secretary and vice-governor of the central bank on Monday, according to an announcement published on the People's Bank

中央一号文件中文词频统计并保存到文件中

1 # Author :Zcb 2 3 #中文词频统计 4 import jieba 5 import sys 6 7 f = open("d:/政府工作报告.txt",'r') 8 txt = f.read() 9 f.close() 10 11 d={} 12 ls=jieba.lcut(txt) 13 exclude =['“','”','要','和',',','的','\n','.','.'] #这里是要exclude 的列表,根据需求可灵活改变 14 for w in ls: