中央一号文件中文词频统计并保存到文件中

 1 # Author :Zcb
 2
 3 #中文词频统计
 4 import jieba
 5 import sys
 6
 7 f = open("d:/政府工作报告.txt",‘r‘)
 8 txt = f.read()
 9 f.close()
10
11 d={}
12 ls=jieba.lcut(txt)
13 exclude =[‘“‘,‘”‘,‘要‘,‘和‘,‘,‘,‘的‘,‘\n‘,‘。‘,‘、‘]  #这里是要exclude 的列表,根据需求可灵活改变
14 for w in ls:
15     if w in exclude or len(w)==1:
16         continue
17     d[w]=d.get(w,0)+1
18
19 #####################按val排序
20 res = sorted(d.items(),key =lambda x:x[1],reverse=True)
21 fd= open("d:/统计结果.txt",‘w‘)
22 old_stdout = sys.stdout
23 sys.stdout = fd
24 for w in res:
25     if(w[1]<=25):
26         continue
27     print(‘"{}"出现了{}次‘.format(w[0],w[1]))
28 sys.stdout = old_stdout
29 fd.close()

原文地址:https://www.cnblogs.com/zach0812/p/11258982.html

时间: 2024-10-07 08:41:29

中央一号文件中文词频统计并保存到文件中的相关文章

将内容输入到文本中、读取文件、将输出结果保存到文件中、计算程序跑的时间(c++)

将数据输出到文件中 #include<iostream> #include<cstdio> #include<cstring> #include<algorithm> #include<cmath> #include<vector> #include<map> #include<cstdlib> #include<fstream> #include<time.h> using names

实验二-3 Hadoop&amp;Paoding 中文词频统计

  参考教程 在Hadoop上使用庖丁解牛(较复杂,并未采用,可以之后试试) http://zhaolinjnu.blog.sohu.com/264905210.html Lucene3.3.Lucene3.4中文分词——庖丁解牛分词实例(屈:注意版本) http://www.360doc.com/content/13/0217/13/11619026_266124504.shtml 庖丁分词在hadoop上运行时的配置问题(采纳了一半,没有按照其所写配置dic属性文件) http://f.da

初学Hadoop之中文词频统计

1.安装eclipse 准备 eclipse-dsl-luna-SR2-linux-gtk-x86_64.tar.gz 安装 1.解压文件. 2.创建图标. ln -s /opt/eclipse/eclipse /usr/bin/eclipse #使符号链接目录 vim /usr/share/applications/eclipse.desktop #创建一个  Gnome 启动 添加如下代码: [Desktop Entry] Encoding=UTF-8 Name=Eclipse 4.4.2

中文词频统计与词云生成

https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说. 2. 从文件读取待分析文本. 3. 安装并使用jieba进行中文分词. pip install jieba import jieba jieba.lcut(text) 4. 更新词库,加入所分析对象的专业词汇. jieba.add_word('天罡北斗阵')  #逐个添加 jieba.load_userdict(word_dict) 

中文词频统计及词云制作

  1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?(认真想一想回答) 大数据会用到哪些技术? 2.中文分词 下载一中文长篇小说,并转换成UTF-8编码. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数. **排除一些无意义词.合并同一词. import jieba fr=open("复活.txt",'r',encoding='utf-8') s=list(jieba.cut(fr.read())) key=set(s) dic={} f

中文词频统计

中文分词 下载一中文长篇小说,并转换成UTF-8编码. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数. 排除一些无意义词.合并同一词. 对词频统计结果做简单的解读. import jieba txt=open('111.txt','r',encoding='utf-8').read() words=list(jieba.cut(txt)) keys=set(words) dic={} for w in keys: if len(w)>1: dic[w]=words.count

+中文词频统计及词云制作9-25

1.我希望老师能讲一点python在数据挖掘,数据分析领域的应用,最好能举些实例,或者说带我们实际操作一波. 2.中文分词 下载一中文长篇小说,并转换成UTF-8编码   使用jieba库,进行中文词频统计,输出TOP20的词及出现次数. >>>import jieba >>>lr = open('斗破苍穹第一章.txt','w') >>>lr.write('''大陆名为斗气大陆,大陆上并没有小说中常见的各系魔法,而斗气,才是大陆的唯一主调! 在这片大

9-25提出问题和中文词频统计

1.中软国际华南区技术总监曾老师还会来上两次课.希望老师能够讲一下 现在的网络发展和现状,感觉计算机专业是最受欢迎的,但是凭借着每年不断毕业(增多)的人数,我们凭借着什么来跟好比如我们是网工专业,跟学软件班的同学去PK,去取得更好的就业岗位.并且一般现在看到比我们大一届的师兄师姐很多都是(大部分),只是谋求工作,而不能因为是学计算机,就能够谋求到一份好的关系到计算机的工作. 2.中文分词 下载一中文长篇小说,并转换成UTF-8编码. <水浒传>第一百零三回 张管营因妾弟丧身 范节级为表兄医脸

1.英文词频统2.中文词频统计

1.英文词频统 news=''' Guo Shuqing, head of the newly established China banking and insurance regulatory commission, was appointed Party secretary and vice-governor of the central bank on Monday, according to an announcement published on the People's Bank