mapreduce中map数的测试

默认的map数是有逻辑的split的数量决定的，根据源码切片大小的计算公式：Math.max(minSize, Math.min(maxSize, blockSize))；

其中：

minsize：默认值：1
   配置参数： mapreduce.input.fileinputformat.split.minsize    

maxsize：默认值：Long.MAXValue
    配置参数：mapreduce.input.fileinputformat.split.maxsize

blocksize:值为hdfs的对应文件的blocksize

可知，当未对minsize和maxsize做任何修改的情况下，可知默认切片大小为：blocksize大小。这里需要说明的是，只有当一个文件的大小超过了切片大小时才会被逻辑切分，如果没有超过切片大小则会自成一个分片，（如hdfs的blocksize大小为128MB，分别有大小为20MB，200MB的两个文件，那么默认将会产生三个切片，分别为20MB，128MB和72MB，也就是说会有3个map来处理），所以如果想增大map个数（也就是提高并行度，减少每个map处理的任务量），就可以将大文件切分成多个小文件来处理（不是说小文件越多越好，这里还要综合考虑，比如队列资源，task调度的效率的影响）。例如：一个队列有120个可以使用的core，当可以全量使用这些资源时且总文件大小又没有那么大（128MB*120），就可以考虑将这个文件分割成120个小文件，这样逻辑上就是120个切片，可以同时启动120个map来运行，相比（文件大小/128MB)个map来说对资源的利用率要高。

原文地址：https://www.cnblogs.com/ysch/p/8457071.html