spark计算平均值

对于

Array((‘a‘,1), (‘a‘,2), (‘b‘,3), (‘a‘,4), (‘a‘,15))如何计算平均值呢：

原来通过计算两边，第一遍计算总次数

val a = sc.parallelize(data).map(x=>1)val b = sc.parallelize(data).map(x=>x._2)val count = a.reduce(_+_)val value = b.reduce(_+_)print(value/count)但是这样需要对数据做两次处理，效率大大的下降。能不能只对数据做一次处理就能得到次数和总和呢。以下方法可以做到。

val data = Array((‘a‘,1), (‘a‘,2), (‘b‘,3), (‘a‘,4), (‘a‘,15))//此处将tuple第一项设置为次数，第二项为待相加的值val distData = sc.parallelize(data).map(x=>(1,x._2))//聚合方法，第一项计算总数，第二项计算总和val add =(x:(Int,Int),y:(Int,Int))=>{(x._1+y._1,x._2+y._2)}//开始计算,最后的结果是 (次数，总和)val ret = distData.reduce(add)//计算平均值print(ret._2/ret._1)

通过修改add方法，将计算的结果放入到tuple中，即可对数据一次处理时，得到想要的结果。