hadoop的入门问题是wordcount,而经典问题是TopK计算,比如热词,搜索链接热度等都是topK问题的变种
TopK问题使用MapReduce解决需要2步,而使用Tez解决可以缩减为一步,使用Tez其实也就是将2步MapReduce转化成DAG,一步完成,Tez大量复用了MapReduce代码。
这里我们讨论使用MapReduce解决问题
第一步wordcount,终于理解“道格”,把wordcount作为MapReduce编程的实例的用心了,哈哈,wordcount这里不再赘述
第二部翻转key和value
自己写一个key的排序编码,一下是代码:
<span style="font-family:Microsoft YaHei;font-size:14px;">/*** * 按词频降序排序 * 的类 * * **/ public static class DescSort extends WritableComparator{ public DescSort() { super(IntWritable.class,true);//注册排序组件 } @Override public int compare(byte[] arg0, int arg1, int arg2, byte[] arg3, int arg4, int arg5) { return -super.compare(arg0, arg1, arg2, arg3, arg4, arg5);//注意使用负号来完成降序 } @Override public int compare(Object a, Object b) { return -super.compare(a, b);//注意使用负号来完成降序 } }</span>
这样就可以解决topK这个问题了,这里写的比较简略,理解概念,自行修改
时间: 2024-10-24 08:48:54