在Hadoop上运行基于RMM中文分词算法的MapReduce程序

原文：http://xiaoxia.org/2011/12/18/map-reduce-program-of-rmm-word-count-on-hadoop/

在Hadoop上运行基于RMM中文分词算法的MapReduce程序

23条回复

我知道这个文章标题很“学术”化，很俗，让人看起来是一篇很牛B或者很装逼的论文！其实不然，只是一份普通的实验报告，同时本文也不对RMM中文分词算法进行研究。这个实验报告是我做高性能计算课程的实验里提交的。所以，下面的内容是从我的实验报告里摘录出来的，当作是我学习hadoop分享出来的一些个人经验。

实验目标

学习编写 Hadoop 上的 MapReduce 程序。
使用 Hadoop 分布式计算小说《倚天屠龙记》里的中文单词频率，比较张无忌身边的两个女人周芷若与赵敏谁在小说里的热度高。（为什么要提到倚天屠龙记呢？因为我的一位舍友最近把贾静雯演的这部戏看完了，他无时无刻不提到贾静雯演的赵敏，所以这个实验也取材自我的大学生活……）

实验原理

通过自学Hadoop的Streaming工作模式，使用Streaming可以让Hadoop运行非Java的MapReduce程序。

为了减少我们的实验时间，我们使用了以开发效率著名的Python语言来编写我们的mapper.py和reducer.py。其中，我们还使用到了一个小巧的中文分词模块smallseg.py，引用自（http://code.google.com/p/smallseg/，Apache License 2.0）。

对于中文词库，我们使用搜狗实验室提供的中文词库main.dic以及一个字库suffix.dic，均可从smallseg项目中获得。

分布式计算的输入为一个文本文件：倚天屠龙记.txt，我们从网下下载此文本资源，并且转换为utf8文本编码以方便我们在Linux下进行分词计算。

iconv -fgbk -tutf8 倚天屠龙记.txt > 倚天屠龙记utf8.txt

实验环境

NameNode：
OS: Ubuntu11.04
CPU: Intel Core I3
Memory: 512MB
IP: 125.216.244.28

DataNode1:
OS: Ubuntu11.10
CPU: Intel Pentium 4
Memory: 512MB
IP: 125.216.244.21

DataNode2:
OS: Ubuntu11.10
CPU: Intel Pentium 4
Memory: 512MB
IP: 125.216.244.22

Mapper程序

下面是mapper.py的代码。

view plaincopy to clipboardprint?

  1. #!/usr/bin/env python
  2. from smallseg import SEG
  3. import sys
  4. seg = SEG()
  5. for line in sys.stdin:
  6. wlist = seg.cut(line.strip())
  7. for word in wlist:
  8. try:
  9. print "%s\t1" % (word.encode("utf8"))
  10. except:
  11. pass

smallseg为一个使用RMM字符串分割算法的中文分词模块。Mapper程序的过程很简单，对每一行的中文内容进行分词，然后把结果以单词和频率的格式输出。对于所有的中文单词，都是下面的格式，

单词[tab]1

每个单词的频率都为1。Mapper并不统计每一行里的单词出现频率，我们把这个统计频率的工作交给Reducer程序。

Reducer程序

下面是reducer.py的代码.

view plaincopy to clipboardprint?

  1. #!/usr/bin/env python
  2. import sys
  3. current_word，current_count，word = None, 1, None
  4. for line in sys.stdin:
  5. try:
  6. line = line.rstrip()
  7. word, count = line.split("\t", 1)
  8. count = int(count)
  9. except: continue
  10. if current_word == word:
  11. current_count += count
  12. else:
  13. if current_word:
  14. print "%s\t%u" % (current_word, current_count)
  15. current_count, current_word = count, word
  16. if current_word == word:
  17. print "%s\t%u" % (current_word, current_count)

从标准输入中读取每一个单词频率，并且统计。因为这些单词已经由Hadoop为我们排好了顺序，所以我们只需要对一个单词的出现次数进行累加，当出现不同的单词的时候，我们就输出这个单词的频率，格式如下

单词[tab]频率

实验步骤

实验使用一个NameNode节点和两个DataNode节点。
首先，把所需要的文件复制到每一台主机上。这些文件都放在/home/hadoop/wc目录下。

scp -r wc [email protected]:.
scp -r wc [email protected]:.
scp -r wc [email protected]:.

运行Hadoop Job

本次任务，使用3个Mapper进程以及2个Reducer进程。因为分词的步骤最为耗时，所以我们尽量分配最多数目的Mapper进程。

[email protected]:~/hadoop-0.20.203.0$ ./bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /home/hadoop/wc/mapper.py -reducer /home/hadoop/wc/reducer.py -input 2-in -output 2-out -jobconf mapred.map.tasks=3 -jobconf mapred.reduce.tasks=2
[...] WARN streaming.StreamJob: -jobconf option is deprecated, please use -D instead.
packageJobJar: [/tmp/hadoop-unjar2897218480344074444/] [] /tmp/streamjob7946660914041373523.jar tmpDir=null
[...] INFO mapred.FileInputFormat: Total input paths to process : 1
[...] INFO streaming.StreamJob: getLocalDirs(): [/tmp/mapred/local]
[...] INFO streaming.StreamJob: Running job: job_201112041409_0005
[...] INFO streaming.StreamJob: To kill this job, run:
[...] INFO streaming.StreamJob: /home/hadoop/hadoop-0.20.203.0/bin/../bin/hadoop job  -Dmapred.job.tracker=http://125.216.244.28:9001 -kill job_201112041409_0005
[...] INFO streaming.StreamJob: Tracking URL: http://localhost:50030/jobdetails.jsp?jobid=job_201112041409_0005
[...] INFO streaming.StreamJob:  map 0%  reduce 0%
[...] INFO streaming.StreamJob:  map 9%  reduce 0%
[...] INFO streaming.StreamJob:  map 40%  reduce 0%
[…] INFO streaming.StreamJob:  map 67%  reduce 12%
[...] INFO streaming.StreamJob:  map 71%  reduce 22%
[...] INFO streaming.StreamJob:  map 100%  reduce 28%
[...] INFO streaming.StreamJob:  map 100%  reduce 100%
[...] INFO streaming.StreamJob: Job complete: job_201112041409_0005
[...] INFO streaming.StreamJob: Output: 2-out

Map过程耗时：41s
Reduce过程耗时：21s
总耗时：62s

计算结果

复制计算结果到本地文件系统。

./bin/hadoop dfs -get 2-out/part* ../wc/

查看part*的部分内容：

[email protected]:~/wc$ tail part-00000
龙的    1
龙眼    1
龙虎    2
龙被    1
龙身    2
龙镇    1
龙骨    1
龟寿    2
龟山    1
龟裂    1
[email protected]:~/wc$ tail part-00001
龙门    85
龙飞凤舞        1
龙驾    1
龟      3
龟一    1
龟二    1
龟息    1
龟缩    1
龟蛇    3

下面，对输出的结果进行合并，并按照频率进行排序。该过程比较快，在1秒内就已经完成。

[email protected]:~/wc$ cat part-00000 part-00001 | sort -rnk2,2 > sorted
[email protected]:~/wc$ head sorted
的      7157
张无忌  4373
是      4199
道      3465
了      3187
我      2516
他      2454
你      2318
这      1991
那      1776

我们去掉单个字的干扰，因为我们的实验目的只对人名感兴趣。

[email protected]:~/wc$ cat sorted | awk ‘{if(length($1)>=4) print $0}‘ | head -n 50
张无忌  4373
说道    1584
赵敏    1227
谢逊    1173
自己    1115
甚么    1034
张翠山  926
武功    867
一个    777
咱们    767
周芷若  756
教主    739
笑道    693
明教    685
一声    670
听得    634
姑娘    612
师父    606
只见    590
无忌    576
少林    555
如此    547
弟子    537
之中    527
殷素素  518
杨逍    496
他们    490
不知    484
如何    466
我们    453
两人    453
叫道    450
二人    445
今日    443
心想    433
张三丰  425
声道    425
义父    412
出来    402
虽然    395
灭绝师太        392
之下    389
这时    381
莲舟    374
心中    374
便是    371
不敢    371
俞莲    369
不能    359
身子    356

统计图表

结论

赵敏以1227票的频率完胜周芷若的756票，由此可知赵敏在《倚天屠龙记》里的热度比周芷若高。

经过本次实验，我们对 Hadoop 原理有了一定程度的了解，并且顺利的完成Mapper函数和Reducer函数的设计和测试。能够运用 Hadoop 进行简单的并行计算的实现。我们也对并行算法和串行算法的区别和设计有了更深一层的了解。此外，实验还增进了我们的合作精神，提高了我们的动手能力。

时间： 2024-12-28 20:49:47

在Hadoop上运行基于RMM中文分词算法的MapReduce程序的相关文章

Mmseg中文分词算法解析

@author linjiexing 开发中文搜索和中文词库语义自己主动识别的时候,我採用都是基于mmseg中文分词算法开发的Jcseg开源project.使用场景涉及搜索索引创建时的中文分词.新词发现的中文分词.语义词向量空间构建过程的中文分词和文章特征向量提取前的中文分词等,整体使用下来,感觉jcseg是一个非常优秀的开源中文分词工具,并且可配置和开源的情况下,能够满足非常多场景的中文分词逻辑.本文先把jcseg使用到最主要的mmseg算法解析一下. 1. 中文分词算法之争 在分析mmseg

Hadoop的改进实验（中文分词词频统计及英文词频统计）（4/4）

声明: 1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究. 2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好).如不清楚配置可看<Hadoop之词频统计小实验初步配置> 3)本文由于过长,无法一次性上传.其相邻相关的博文,可参见<Hadoop的改进实验(中文分词词频统计及英文词频统计) 博文目录结构>,以阅览其余三篇剩余内容文档. (五)单机伪分布的英文词频统计Python&Streamin

在hadoop上运行java文件

hadoop 2.x版本 编译:javac -d . -classpath /usr/lib/hadoop/hadoop-common-2.2.0.2.0.6.0-102.jar TestGetPathMark.java 在com的同级目录上建立manifest.mf 在里面写上Main-Class: com.test.path.mark.TestGetPathMark d打包:然后保存并执行jar -cvfm test.jar manifest.mf com/ 然后执行hadoop jar t

NLP: 中文分词算法--正向最大匹配 Forward Maximum Matching

最近接触NLP中文分词, 在lunr.js的基础上, 实现了中文的最大正向匹配分词. 某些情况下, 我们在服务器端进行中文文本分词可以使用完整的基于mmseg算法的分词模块, 例如nodejieba, node-segment, 盘古分词等等,  但是在客户端环境下, 我们不能使用这些复杂的分词算法进行分词, 这个时候可以根据已经生成的索引进行简单的客户端分词, 就是所说的FMM (Forward Maximum Matching, 正向最大匹配), 有时候也可以使用正向匹配. 在做FMM的时候

中文分词算法综述

英文文本词与词之间以空格分隔,方便计算机识别,但是中文以字为单位,句子所有字连起来才能表达一个完整的意思.如英文"I am writing a blog",英文词与词之间有空格进行隔开,而对应的中文"我在写博客",所有的词连在一起,计算机能很容易的识别"blog"是一个单词,而很难知道"博"."客"是一个词,因此对中文文本序列进行切分的过程称为"分词".中文分词算法是自然语言处理的基础,

机器学习基础——一文讲懂中文分词算法

在前文当中,我们介绍了搜索引擎的大致原理.有错过或者不熟悉的同学,可以点击下方的链接回顾一下前文的内容. ML基础--搜索引擎基本原理 在介绍爬虫部分的时候,我们知道,爬虫在爬取到网页的内容之后,会先进行一些处理.首先要做的就是过滤掉HTML当中的各种标签信息,只保留最原生的网页内容.之后,程序会对这些文本内容提取关键词. 今天我们就来讲讲关键词提取当中最重要的一个部分--中文分词. 在世界上众多的语言当中,中文算是比较特殊的一种.许多语言自带分词信息,比如英文,机器学习写作machine le

NLP: 中文分词算法---交集歧义检测 (cross ambiguity detect)

在 文章 http://blog.csdn.net/watkinsong/article/details/37697451 里面提到的FM中文分词算法中, 最大的问题就是将用户的query切分的太碎, 切分太碎也会对检索结果造成一定的影响. 这里, 可以采用FMM算法进行切分, 首先切分出最大的正向匹配, 然后进行交集歧义检测, 如果检测到存在交集歧义, 那么对可能存在歧义的一段文字进行FM切分, 获取所有的可能切分结果: 然后对剩下的query子句重复进行FMM切分, 直到query == n

Docker在Linux上运行NetCore系列（五）更新应用程序

原文:Docker在Linux上运行NetCore系列(五)更新应用程序 转发请注明此文章作者与路径,请尊重原著,违者必究. 本篇文章与其它系列文章不同,为了方便测试,新建了一个ASP.Net Core视图应用. 备注:下面说的应用,只是在容器中运行的应用程序. 查看现在运行的应用 容器中已经运行了一个应用testaspnetcoredockerlinuxname,版本是1.0.我们下面查看一下已经在运行中的应用. 输入命令[sudo docker ps]可以看到运行中的容器. 红色线的就是我们

中文分词算法 之 基于词典的全切分算法

在使用 基于词典 的分词方法的时候,如果我们解决了下面4个问题: 1.如何把一句话中所有的词找出来呢?只要词典中有就一定要找出来. 2.如何利用1中找出来的词组合成完整的句子?组合成的句子要和原句一样. 3.如何保证2中组合而成的句子包含了所有可能的词序? 4.如何从所有可能的词序中选择最完美的一种作为最终的分词结果? 那么我们的分词方法称之为:基于词典的全切分算法. 下面我们以一个实例来说明,比如句子:中华人民共和国. 假设词典中包含如下词: 中华人民共和国 中华人民 中华 华人 人民共和国