MapReduce编程实例

《机器学习实战》

1top K 问题。

在搜索中，我们常常需要搜索最近热门的K个搜索词，这是典型的top k问题。就可以分解成两个mapreduce.先完成统计词频，然后找出词频最高的的查询词。第一个作业是典型的WordCOUNT,第一个作业是用MAp函数。第二个任务是汇总每个map任务得到的查询词的前提，并输出频率最高的前k个查询词。

2k均值聚类算法

这是一个基于距离的距离算法.它采用距离作为相似性的评价指标,因为两个对象距离越近，他们相似度就越大。该算法可以抽奖成为:给定正整数k和n的对象如何将这些数据划分为K个聚类。

首先选择k个对象作为初始中心点，然后不断迭代计算，直到满足终止条件。直到迭代次数上限或者数据点到中心点距离的平方和最小。在I轮迭代中，Map计算每个对象到中心点的距离,选择每个对象最近的中心点并输出<Center point, Object>对。reduce走进每个聚类中对象的距离均值,并将这k中值作为下一轮初始中心点。

3贝叶斯分类

贝叶斯分类是一种利用概率统计知识进行分类，该方法包括两个步骤:训练样本分类。其中训练样本可由Map Reduce个作业完成。第一个作业抽取文档特征，只需要Map完成。第二个作业计算类别的先验概率。即统计，每个类别中文档的数目，并计算类别概率。第三个作业，计算单词的条件概率，并计算<Label,Word>，所有文档中出现的次数并计算单词的条件概率。后两个作业的具体实现类似于WordCount。