package com.latrobe.spark import org.apache.spark.{SparkConf, SparkContext} /** * Created by spark on 15-1-18. * countApproxDistinct : RDD的一个方法,作用是对RDD集合内容进行去重统计。 * 该统计是一个大约的统计,参数relativeSD控制统计的精确度。 * relativeSD越小,结果越准确 */ object CountApproxDistinct { def main(args: Array[String]) { val conf = new SparkConf().setAppName("spark-demo").setMaster("local") val sc = new SparkContext(conf) /** * 构建一个集合,分成20个partition */ val a = sc.parallelize(1 to 10000 , 20) //RDD a内容复制5遍,其中有50000个元素 val b = a++a++a++a++a //结果是9760,不传参数,默认是0.05 println(b.countApproxDistinct()) //结果是9760 println(b.countApproxDistinct(0.05)) //8224 println(b.countApproxDistinct(0.1)) //10000 println(b.countApproxDistinct(0.001)) } }
时间: 2024-09-28 16:37:26