基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计

map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce

基于map/reduce的思路，我们可以设计基于hadoop(map/reduce)的大规模分布式并行计算生产排程系统，怎么样把大数据处理变成大规模分布式并行计算呢，就是我们不切分数据，每个map任务的数据都是相同的，每个map任务对排程数据计算指定次数（比如1千次），然后将得到的最优结果汇总到reduce,reduce从这些中间的最优结果中选出最优结果，做为新的数据传递给map任务，开始下一轮的计算和汇总

由于hadoop是充分成熟的技术，能在数以千计的服务器或数千个cpu的数据处理系统上高效稳定的运行，完全支持云计算平台，基于hadoop下(map/reduce)技术设计大规模分布式并行计算生产排程系统或者其他类似的并行优化计算系统，将成为最佳的选择