一、常用Actoin算子 (reduce 、collect 、count 、take 、saveAsTextFile 、 countByKey 、foreach )
collect:从集群中将所有的计算结果获取到本地内存,然后展示
take:从集群中将一部分的计算结果获取到本地内存,然后展示
rdd.collect
rdd.take(n)
二、内存管理
1、RDD内存持久化
时间: 2024-11-08 08:52:10
一、常用Actoin算子 (reduce 、collect 、count 、take 、saveAsTextFile 、 countByKey 、foreach )
collect:从集群中将所有的计算结果获取到本地内存,然后展示
take:从集群中将一部分的计算结果获取到本地内存,然后展示
rdd.collect
rdd.take(n)
二、内存管理
1、RDD内存持久化