PairRDD转换操作

1.对一个数据为{1，2，3，3}的RDD进行基本的RDD转化操作

函数名	目的	示例	结果
map()	函数应用于RDD中的每个元素	rdd.map(x=>x+1)	{2,3,4,4}
flatMap()	将函数应用于RDD中的每个怨毒，通常用来切分单词	rdd.flatMap(x=>x.to(3))	{1,2,3,2,3,3,3}
filter()	返回一个通过传给filter()的函数的元素组成的RDD	rdd.filter(x=>x!=1)	{2,3,3}
distinct()	去重	rdd.distinct()	{1,2,3}
sample(withReplacement,fraction,[seed])	对RDD进行采样，以及是否替换	rdd.sample(false,0.5)	非确定

2.对数据分别为{1，2，3}和{3，4，5}的RDD进行针对两个RDD的转化

时间： 2024-10-22 06:53:57

PairRDD转换操作的相关文章

Java的进制转换操作（十进制、十六进制、二进制）

2014-05-06 17:34 吴文付最近由于工作上的需要,遇到进制转换的问题.涉及到的进制主要是十进制,十六进制,二进制中间的转换. 这里整理一下.具体的计划为:封装一个转换类,一个测试类. 1.十进制转十六进制: 2.十进制转二进制 3.十六进制转十进制: 4.十六进制转二进制: 5.二进制转十进制: 6.二进制转十六进制: Java的进制转换操作(十进制.十六进制.二进制),布布扣,bubuko.com

Spark算子：RDD基本转换操作(1)–map、flatMap、distinct

Spark算子:RDD基本转换操作(1)–map.flatMap.distinct 关键字:Spark算子.Spark RDD基本转换.map.flatMap.distinct map 将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素. 输入分区与输出分区一对一,即:有多少个输入分区,就有多少个输出分区. hadoop fs -cat /tmp/lxw1234/1.txt hello world hello spark hello hive //读取HDFS文件到RDD sca

快速转换操作，CAD转PNG

快速转换操作,CAD转PNG.我们常常会把CAD转换成图片文件格式.其中就有CAD换成PNG格式.今天小编就给大家具体演示一下.演示步骤如下:步骤一:首先我们在浏览器里搜索迅捷CAD转换器安装到电脑端. 步骤二:运行迅捷CAD转换器,点击界面右侧"CAD转图片"按钮. 步骤三:点击"添加文件"这个按钮.把需要转换的CAD图纸文件添加至软件,也可直接把文件拖曳至软件界面里. 步骤四:在"输出格式"栏里选择需要转换成的图片格式.同时还可以对输出色彩.

Java使用Aspose组件进行多文档间的转换操作

什么是Aspose? Aspose.Total是Aspose公司旗下的最全的一套office文档管理方案,主要提供.net跟java两个开发语言的控件套包,通过它,我们可以有计划地操纵一些商业中最流行的文件格式:Word, Excel, PowerPoint, Project,等office文档以及PDF文档. 除了强大的文件操纵组件之外,Aspose.Total 还提供了用于制图.写电子邮件.拼写检查.创建条形码.生成ad hoc 查询.重现格式以及工作流等组件,运用它我们可以整理一个完整的文

pandas 对数据帧DataFrame中数据的增删、补全及转换操作

1.创建数据帧 import pandas as pd df = pd.DataFrame([[1, 'A', '3%' ], [2, 'B'], [3, 'C', '5%']], index=['row_0', 'row_1', 'row_2'], columns=['col_0', 'col_1', 'col_2']) 2.增加行.列数据帧DataFrame的每一行都可看作是一个对象,每一列都是该对象的不同属性.每行都具有多维度的属性,因此每行都可以看作是一个小的DataFrame:而每列

RDD的转换操作，分三种：单value，双value交互，（k,v）对

import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): Unit = { val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Transfor

字节数组与字符串（字符数组）的转换操作

1.默认编码方式转换: (1)string(char[])转换为byte[] byte[] byteArr = System.Text.Encoding.Default.GetBytes(char[]); byte[] byteArr = System.Text.Encoding.Default.GetBytes(string); byte[] byteArr = System.Text.Encoding.Default.GetBytes(char[], startindex, count);

Scala 运算符和集合转换操作示例

Scala是数据挖掘算法领域最有力的编程语言之一,语言本身是面向函数,这也符合了数据挖掘算法的常用场景:在原始数据集上应用一系列的变换,语言本身也对集合操作提供了众多强大的函数,本文将以List类型为例子,介绍常见的集合变换操作. 一.常用操作符(操作符其实也是函数) ++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个列表++: ++:[B >: A, That](that: collection.Traversable[B])