【MongoDB】MongoDB数据库之MapReduce编程模型

刚开始阅读《Mongodb入门手册》时候看到mapreduce,当时感觉好难,就直接忽略了。现在重新看到这部分知识的时候,痛下决心学习这块知识。

一、概念说明

MongoDB的MapReduce相当于Mysql中“group by”,在mongodb上使用mapreduce执行并行数据统计很容易;使用MapReduce要实现两个函数: map 和 reduce.

map函数调用emit(key,value)遍历collection中所有的记录,将key和value传递给Reduce函数执行处理。Map函数和Reduce函数可以使用javascript来实现。下面我们来学习下mapreduce的方法参数:

二、举例说明

1. 创建初始化数据

2. Map进行分组

Map函数必须调用emit(key,value)返回键值对,使用this访问当前待处理的document.在本例中,map函数对students表按classid进行分组:

value可以使用json object传递(支持多个属性值),如下面代码表示:

emit(this.classid,{count:1})

3. Reduce聚合计算

Reduce函数传递的参数类似与group 效果,将map返回的键值序列组合成{key,[value1,value2,value3,...]}传递给reduce,如下面代码所示:

Reduce函数对于这些values进行统计,在本例中,reduce函数就是分别针对班级的记录数量进行执行求和计算,返回结果是json object 对象

4. Result获取结果

计算后如何获得结果,这正是result函数的作用。可以执行db.结果集。find()可以获得结果。其中结果集合可以通过out变量指定。

5. Finialize格式化输出

利用finalize()可以对reduce的结果进行输出样式的格式化处理。

6. options定制输出

还可以添加更多的控制细节,只需要在res函数的定义中加入一个query参数,既可以进一步过滤结果集,如下面的代码所示:

对比查询结果:

时间: 2024-08-26 03:30:05

【MongoDB】MongoDB数据库之MapReduce编程模型的相关文章

MapReduce编程模型及优化技巧

(一)MapReduce 编程模型 (备注:如果你已经了解MapReduce 编程模型请直接进入第二部分MapReduce 的优化讲解) 在学习MapReduce 优化之前我们先来了解一下MapReduce 编程模型是怎样的? 下图中红色的标注表示没有加入Combiner和Partitioner来进行优化. 上图的流程大概分为以下几步. 第一步:假设一个文件有三行英文单词作为 MapReduce 的Input(输入),这里经过 Splitting 过程把文件分割为3块.分割后的3块数据就可以并行

MapReduce 编程模型概述

MapReduce 编程模型给出了其分布式编程方法, 共分 5 个步骤:1) 迭代(iteration).遍历输入数据, 并将之解析成 key/value 对.2) 将输入 key/value 对映射(map) 成另外一些 key/value 对.3) 依据 key 对中间数据进行分组(grouping).4) 以组为单位对数据进行归约(reduce).5) 迭代. 将最终产生的 key/value 对保存到输出文件中.MapReduce 将计算过程分解成以上 5 个步骤带来的最大好处是组件化与

MapReduce编程模型及其在Hadoop上的实现

转自:https://www.zybuluo.com/frank-shaw/note/206604 MapReduce基本过程 关于MapReduce中数据流的传输过程,下图是一个经典演示:  关于上图,可以做出以下逐步分析: 输入数据(待处理)首先会被切割分片,每一个分片都会复制多份到HDFS中.上图默认的是分片已经存在于HDFS中. Hadoop会在存储有输入数据分片(HDFS中的数据)的节点上运行map任务,可以获得最佳性能(数据TaskTracker优化,节省带宽). 在运行完map任务

【MapReduce】二、MapReduce编程模型

??通过前面的实例,可以基本了解MapReduce对于少量输入数据是如何工作的,但是MapReduce主要用于面向大规模数据集的并行计算.所以,还需要重点了解MapReduce的并行编程模型和运行机制. ??我们知道,MapReduce计算模型主要由三个阶段构成:Map.shuffle.Reduce.Map和Reduce操作需要我们自己定义相应Map类和Reduce类.而shuffle则是系统自动帮我们实现的,是MapReduce的"心脏",是奇迹发生的地方.是其主要流程基本如下图所示

浅谈MapReduce编程模型

以Wordcount程序为例,简单描述MapReduce程序的编程模型. MapReduce程序组成 MapReduce程序一般分成三个部分: 一个程序主引导部分: 一个Map程序部分: 一个Reduce部分. 主引导部分用来设置MapReduce(以下简称 “ MR” )程序的一些非业务逻辑属性,例如最终生成jar包时指定MR框架执行该程序的入口.MR程序的map和reduce部分是哪个(一个jar包中可能封装了多个程序).map和reduce部分的输出参数类型.输入数据的来源(路径)和输出数

MapReduce编程模型

Map:-------分割 Reduce:---合并 ==== Batch,ESB: Splite:----分割 Aggert:---合并 Channel----管道 BPM Join fork task ========================================== 都是基于Job—Task的多线程编程模型实现,不同的仅仅是单一的文件系统存储还是分布式集群存储的文件系统(数据统一存储,数据分块存储在不同的机器里面,单一机器里面的数据不能单独使用,因为数据不全,而统一存储的

暴力破解MD5的实现(MapReduce编程)

本文主要介绍MapReduce编程模型的原理和基于Hadoop的MD5暴力破解思路. 一.MapReduce的基本原理 Hadoop作为一个分布式架构的实现方案,它的核心思想包括以下几个方面:HDFS文件系统,MapReduce的编程模型以及RPC框架.无论是怎样的架构,一个系统的关键无非是存储结构和业务逻辑.HDFS分布式文件系统是整个Hadoop的基础.在HDFS文件系统之中,大文件被分割成很多的数据块,每一块都有可能分布在集群的不同节点中.也就是说在HDFS文件系统中,文件的情况是这样的:

[MongoDB]MongoDB的优缺点及与关系型数据库的比较

汇总: 1. [MongoDB]安装MongoDB2. [MongoDB]Mongo基本使用:3. [MongoDB]MongoDB的优缺点及与关系型数据库的比较4. [MongoDB]MongoDB与JAVA结合使用CRUD 参考:http://www.cnblogs.com/hoojo/archive/2011/06/01/2066119.html 介绍:MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案. 特点:高性能.易部

Mongodb创建数据库

基本语法 MongoDB 创建数据库的语法格式如下: use DATABASE_NAME 如果数据库不存在,则创建数据库,否则切换到指定数据库. 实例 以下实例我们创建了数据库 coderschool: > use coderschool switched to db coderschool > db coderschool >  如果你想查看所有数据库,可以使用 show dbs 命令: > show dbs local  0.078GB test   0.078GB >