第3节 mapreduce高级:2、3、课程大纲&共同好友求取步骤一、二

第五天课程大纲:
1、社交粉丝的数据分析:求共同好友
2、倒排索引的建立
3、自定义inputFormat合并小文件
4、自定义outputformat
5、分组求topN
6、MapReduce的其他补充 了解
7、mapreduce的参数优化 理解
8、yarn的资源调度管理

例子1:社交粉丝数据分析

逻辑分析

以下是qq的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的,即A的好友列表中有B,但B可能把A删除了)

A:B,C,D,F,E,O

B:A,C,E,K

C:F,A,D,I

D:A,E,F,L

E:B,C,D,M,L

F:A,B,C,D,E,O,M

G:A,C,D,E,F

H:A,C,D,E,O

I:A,O

J:B,O

K:A,C,D

L:D,E,F

M:E,F,G

O:A,H,I,J

求出哪些人两两之间有共同好友,及他俩的共同好友都有谁?

解题思路:


第一步

map

读一行   A:B,C,D,F,E,O

输出    <B,A><C,A><D,A><F,A><E,A><O,A>

在读一行   B:A,C,E,K

输出   <A,B><C,B><E,B><K,B>

REDUCE

拿到的数据比如<C,A><C,B><C,E><C,F><C,G>......

输出:

<A-B,C>

<A-E,C>

<A-F,C>

<A-G,C>

<B-E,C>

<B-F,C>.....

第二步

map

读入一行<A-B,C>

直接输出<A-B,C>

reduce

读入数据  <A-B,C><A-B,F><A-B,G>.......

输出: A-B  C,F,G,.....

代码:

原文地址:https://www.cnblogs.com/mediocreWorld/p/11029304.html

时间: 2024-11-05 23:25:03

第3节 mapreduce高级:2、3、课程大纲&共同好友求取步骤一、二的相关文章

第3节 mapreduce高级:4、倒排索引的建立

倒排索引建立 需求分析 需求:有大量的文本(文档.网页),需要建立搜索索引 最终实现的结果就是哪个单词在哪个文章当中出现了多少次 思路分析: 首选将文档的内容全部读取出来,加上文档的名字作为key,文档的value为1,组织成这样的一种形式的数据 map端数据输出 hello-a.txt 1tom-a.txt 1hello-a.txt 1jerry-a.txt 1 到reduce阶段hello-a.txt <1,1> reduce端数据输出 hello-a.txt 2 tom-a.txt 1

IT行业卓越的目标与绩效管理高级研讨课程大纲 (三天论坛版)

IT行业卓越的目标与绩效管理高级研讨课程大纲 (三天论坛版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]3天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 丰富新鲜的案例分析,深刻的问题解决建议,将与授课紧密结合. 授课现场需准备投影仪,电源拖板,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技术,力求既紧紧扣住培训要点  又营

IT行业卓越的目标与绩效管理高级研讨课程大纲 (两天实战版)

IT行业卓越的目标与绩效管理高级研讨课程大纲 (两天实战版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]2天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 演讲,问题讨论和个案分析. 问题讨论和个案分析将与授课紧密结合. 授课现场需准备投影仪,电源拖板,学员用胶贴纸,铅笔和练习纸,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技

金融行业卓越的目标与绩效管理高级研讨课程大纲(三天论坛版)

金融行业卓越的目标与绩效管理高级研讨课程大纲 (三天论坛版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]3天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 丰富新鲜的案例分析,深刻的问题解决建议,将与授课紧密结合. 授课现场需准备投影仪,电源拖板,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技术,力求既紧紧扣住培训要点  又营

石化行业卓越的目标与绩效管理高级研讨课程大纲(两天论坛版)

石化行业卓越的目标与绩效管理高级研讨课程大纲 (两天论坛版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]2天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 丰富新鲜的案例分析,深刻的问题解决建议,将与授课紧密结合. 授课现场需准备投影仪,电源拖板,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技术,力求既紧紧扣住培训要点  又营

交通行业卓越的目标与绩效管理高级研讨课程大纲(三天实战版)

交通行业卓越的目标与绩效管理高级研讨课程大纲 (三天实战版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]3天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 演讲,问题讨论和个案分析. 问题讨论和个案分析将与授课紧密结合. 授课现场需准备投影仪,电源拖板,学员用胶贴纸,铅笔和练习纸,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技

软件行业卓越的目标与绩效管理高级研讨课程大纲(一天实战版)

软件行业卓越的目标与绩效管理高级研讨课程大纲 (一天实战版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]1天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 演讲,问题讨论和个案分析. 问题讨论和个案分析将与授课紧密结合. 授课现场需准备投影仪,电源拖板,学员用胶贴纸,铅笔和练习纸,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技

工程基建行业卓越的目标与绩效管理高级研讨课程大纲 (两天实战版)

工程基建行业卓越的目标与绩效管理高级研讨课程大纲 (两天实战版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]2天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 演讲,问题讨论和个案分析. 问题讨论和个案分析将与授课紧密结合. 授课现场需准备投影仪,电源拖板,学员用胶贴纸,铅笔和练习纸,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培

电信行业卓越的目标与绩效管理高级研讨课程大纲 (两天实战版)

电信行业卓越的目标与绩效管理高级研讨课程大纲 (两天实战版) (如欲公开以下内容,或者需对大纲作专业化调整,请与本人联系确认) [课程关键词]绩效管理循环.工作计划.MBO\KPI\BSC.企业文化 [课程时长]2天(估计每天6.5小时) [课程对象]企业领导者,部门经理.其他各级经理和主管 [课程形式] 演讲,问题讨论和个案分析. 问题讨论和个案分析将与授课紧密结合. 授课现场需准备投影仪,电源拖板,学员用胶贴纸,铅笔和练习纸,如再配白板和白板水笔更好. 采用了电影剪辑和情境片断等多媒体培训技