rdd案例（join、cogroup、reducebykey、groupbykey等）

内容: 1.map.filter.flatmap等操作回顾: 2.reduceBykey.groupBykey: 3.jion.cogroug: 算子共同特点:都是最常用的算子,构建复杂算法的基石,都是lazy级别的,不属于action 创建SparkContext是Spark的起点,只有创建SparkContext,才能创建RDD ==========map============ 适用于任何元素且对其作用的集合中的每一个元素循环遍历,并调用其作为参数的函数对每一个遍历的元素进行具体化处理 =

本节课通过代码实战演示RDD中最重要的两个算子,join和cogroup join算子代码实战: //通过代码演示join算子val conf = new SparkConf().setAppName("RDDDemo").setMaster("local")val sc = new SparkContext(conf)val arr1 = Array(Tuple2(1, "Spark"), Tuple2(2, "Hadoop"

比如两个rdd 两个分区合并去他们的并集 intersection 去数据的交集 subtract去差集 mappartition与map像是遍历的单位是每个pation分区的数据进来的是iterrter是迭代器 distinct去重(map+reducebykey+map) cogroup 作用在keyv格式上的算子 宽依赖产生shuffer 也就是说和磁盘还打交道 stage是由一组并行的task组成碰到宽依赖会划分一个stage mapreduce每一度都落地磁盘 spark是shuffe

1.规律 如果JoinAPI之前被调用的RDD API是宽依赖(存在shuffle), 而且两个join的RDD的分区数量一致,join结果的rdd分区数量也一样,这个时候join api是窄依赖 除此之外的,rdd 的join api是宽依赖 2.测试程序 1 package com.ibeifeng.senior.join 2 3 import org.apache.spark.{SparkConf, SparkContext} 4 5 /** 6 * RDD数据Join相关API讲解 7

1.数据集 A表数据: 1 a 2 b 3 c B表数据: 1 aa1 1 aa2 2 bb1 2 bb2 2 bb3 4 dd1 2.join的分类 inner join left outer join right outer join full outer join left semi join 3.集中join的结果 A inner join B: 1 a 1 aa1 1 a 1 aa2 2 b 2 bb1 2 b 2 bb2 2 b 2 bb3 A left outer join B:

经常写代码的时候发现rdd没有reduceByKey的方法,这个发生在spark1.2及其以前对版本,因为rdd本身不存在reduceByKey的方法,需要隐式转换成PairRDDFunctions才能访问,因此需要引入Import org.apache.spark.SparkContext._.不过到了spark1.3的版本后,隐式转换的放在rdd的object中,自动引入,不要引入其他的包. 定义了额外的rdd操作,比如哦说key-value-pair RDDs的 reduceByKey方法

第1章 RDD 概念1.1 RDD 为什么会产生1.2 RDD 概述1.2.1 什么是 RDD1.2.2 RDD 的属性1.3 RDD 弹性1.4 RDD 特点1.4.1 分区1.4.2 只读1.4.3 依赖1.4.4 缓存1.4.5 CheckPoint第2章 RDD 编程2.1 RDD 编程模型2.2 RDD 创建2.2.1 由一个已经存在的 Scala 集合创建,即集合并行化(测试用)2.2.2 由外部存储系统的数据集创建(开发用)2.3 RDD 编程2.3.1 Transformatio

这里所有算子均只适用于pairRDD.pairRDD的数据类型是(k,v)形式的键值对: PartitionBy(Partitioner) 对pairRDD进行分区操作,如果原有的partioner和现有的partioer是一致的话就不进行分区, 否则会生成ShuffleRDD,即会产生shuffle过程.注意:这里的RDD是tuple: def main(args: Array[String]): Unit = { val sc: SparkContext = new SparkContext

只作为我个人笔记,没有过多解释 Transfor map filter filter之后,依然有三个分区,第二个分区为空,但不会消失 flatMap reduceByKey groupByKey() sortByKey() val pets = sc.parallelize( List(("cat", 1), ("dog", 1), ("cat", 2)) ) pets.reduceByKey(_ + _) // => {(cat, 3),