Hadoop 的核心：Mapreduce思想说明

Mapreduce思想

1. 就是做一个计算，如果计算过程中如果数据传输消耗的资源大于计算消耗的资源，考虑在计算过程中，将算法（程序），移动到数据存放的服务器中，再进行计算。

2. 在做一个巨型计算时，利用多台（例如 2000 ）台服务器的 cpu 和内存同时计算。

算法描述

第一种方式描述

将计算要用的数据切分，放在各个服务器上，然后将计算程序分发到各个服务器，计算出各个部分的结果。最后将各个计算结果合并。

第二种方式描述

另外一种描述为， MapReduce 的名字源于这个模型中的两项核心操作： Map 和 Reduce 。也许熟悉
Functional Programming （函数式编程）的人见到这两个词会倍感亲切。简单的说来， Map
是把一组数据一对一的映射为另外的一组数据，其映射的规则由一个函数来指定，比如对 [1, 2, 3, 4] 进行乘 2 的映射就变成了 [2,
4, 6, 8] 。 Reduce 是对一组数据进行归约，这个归约的规则由一个函数指定，比如对 [1, 2, 3, 4]
进行求和的归约得到结果是 10 ，而对它进行求积的归约结果是 24

总的来说算法必须可以切分，包含小列步骤。

切分、分别计算、合并。

最典型的是大规模日志计算。