好程序员大数据学习路线分享Scala系列之集合操作函数

好程序员大数据学习路线继续为大家分享Scala系列之集合操作函数
4.6 集合的重要函数
4.6.1sum/max/min/count
在序列中查找最大或最小值是一个极常见的需求,如下:
val numbers = Seq(11, 2, 5, 1, 6, 3, 9)
numbers.max //11
numbers.min //1
更高级的例子,其中包含一个书的序列
case class Book(title: String, pages: Int)
val books = Seq( Book("Future of Scala developers", 85),
Book("Parallel algorithms", 240),
Book("Object Oriented Programming", 130),
Book("Mobile Development", 495) )
//Book(Mobile Development,495)
books.maxBy(book => book.pages)
//Book(Future of Scala developers,85)
books.minBy(book => book.pages)
如上所示,minBy & maxBy 方法解决了复杂数据的问题。你只需选择决定数据最大或最小的属性。
4.6.2 过滤
过滤一个数字 List,只获取奇数的元素。
val numbers = Seq(1,2,3,4,5,6,7,8,9,10) numbers.filter(n => n % 2 == 0)
val books = Seq( Book("Future of Scala developers", 85),
Book("Parallel algorithms", 240),
Book("Object Oriented Programming", 130),
Book("Mobile Development", 495) )
books.filter(book => book.pages >= 120)
4.6.3 Flatten
val abcd = Seq(‘a‘, ‘b‘, ‘c‘, ‘d‘)
val efgj = Seq(‘e‘, ‘f‘, ‘g‘, ‘h‘)
val ijkl = Seq(‘i‘, ‘j‘, ‘k‘, ‘l‘)
val mnop = Seq(‘m‘, ‘n‘, ‘o‘, ‘p‘)
val qrst = Seq(‘q‘, ‘r‘, ‘s‘, ‘t‘)
val uvwx = Seq(‘u‘, ‘v‘, ‘w‘, ‘x‘)
val yz = Seq(‘y‘, ‘z‘)
val alphabet = Seq(abcd, efgj, ijkl, mnop, qrst, uvwx, yz)
//
// List(a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p, q, r, s, t,
// u, v, w, x, y, z)
alphabet.flatten
当有一个集合的集合,然后你想对这些集合的所有元素进行操作时,就会用到 flatten。
4.6.4集合之间的操作
差集、交集和并集
val num1 = Seq(1, 2, 3, 4, 5, 6)
val num2 = Seq(4, 5, 6, 7, 8, 9)
//List(1, 2, 3)
num1.diff(num2)
//List(4, 5, 6)
num1.intersect(num2)
//List(1, 2, 3, 4, 5, 6, 4, 5, 6, 7, 8, 9)
num1.union(num2)
上述示例中的 union 保留了重复的元素。如果我们不需要重复怎么办?这时可以使用 distinct 函数
//List(1, 2, 3, 4, 5, 6, 7, 8, 9)
num1.union(num2).distinct
下面是上述功能的图示:

4.6.5 map(映射)列表元素
map 是 Scala 集合最常用的一个函数。它的功能十分强大:
val numbers = Seq(1,2,3,4,5,6)
//List(2, 4, 6, 8, 10, 12)
numbers.map(n => n * 2)
val chars = Seq(‘a‘, ‘b‘, ‘c‘, ‘d‘)
//List(A, B, C, D)
chars.map(ch => ch.toUpper)
map 函数的逻辑是遍历集合中的元素并对每个元素调用函数。
4.6.6 flatMap
flatMap 是由下列这两个函数组成的:
map & flatten
例子:
val abcd = Seq(‘a‘, ‘b‘, ‘c‘, ‘d‘)
//List(A, a, B, b, C, c, D, d)
abcd.flatMap(ch => List(ch.toUpper, ch))
4.6.7 对整个集合进行条件检查

  1. val numbers = Seq(3, 7, 2, 9, 6, 5, 1, 4, 2)
  2. //ture numbers.forall(n => n < 10)
  3. //false numbers.forall(n => n > 5)
    而 forall 函数就是为处理这类需求而创建的。
    4.6.8 对集合进行分组
    比如把某个集合拆分成偶数集和奇数集,partition 函数可以帮我们做到这一点:
    val numbers = Seq(3, 7, 2, 9, 6, 5, 1, 4, 2)
    //(List(2, 6, 4, 2), List(3, 7, 9, 5, 1))
    numbers.partition(n => n % 2 == 0)
    4.6.9 Fold
    另一个流行的操作是 fold,通常可以考虑 foldLeft 和 foldRight。他们是从不同的方面做同样的工作:
    val numbers = Seq(1, 2, 3, 4, 5)
    //15 numbers.foldLeft(0)((res, n) => res + n)
    val words = Seq("apple", "dog", "table")
    //13 words.foldLeft(0)((resultLength, word) => resultLength + word.length)
    foldLeft, reduceRight, and foldRight
    方法foldLeft与reduceLeft工作方法很象,但是它让你指定一个值作为第一个元素。
    scala> val a = Array(1, 2, 3)
    a: Array[Int] = Array(1, 2, 3)

scala> a.reduceLeft(+)
res6: Int = 6

scala> a.foldLeft(100)(+)
res7: Int = 106

scala> a.foldLeft(200)(+)
res8: Int = 206

原文地址:https://blog.51cto.com/14479068/2437113

时间: 2024-12-24 08:15:19

好程序员大数据学习路线分享Scala系列之集合操作函数的相关文章

好程序员大数据学习路线分享Scala系列之泛型

好程序员大数据学习路线分享Scala系列之泛型,带有一个或多个类型参数的类是泛型的. 泛型类的定义: //带有类型参数A的类定义class Stack[A] {private var elements: List[A] = Nil//泛型方法def push(x: A) { elements = x :: elements }def peek: A = elements.headdef pop(): A = {val currentTop = peekelements = elements.ta

好程序员大数据学习路线分享Scala分支和循环

好程序员大数据学习路线分享Scala分支和循环3.3. 条件表达式表达式:一个具有执行结果的代码块.结果是具体的值或者() 表达式的思考方式:以表达式为中心的编程思想 1.表达式和语句的区别:表达式有返回值,语句被执行.表达式一般是一个语句块,执行后,返回一个值 2.不使用return语句,最后一个表达式即返回值 if/else表达式有值,这个值就是跟在if或者else之后的表达式的值 object ConditionDemo {def main(args: Array[String]){var

好程序员大数据学习路线分享scala单列和伴生对象

scala单例 object SingletonDemo { ??def main(args: Array[String]): Unit = { ????val s = SessionFactory ????println(s.getSession) ????println(s.getSession.size) ?//.size得到几个session对象 ??} } object SessionFactory{ ??println("SessionFactory 被执行了") ?? ?

好程序员大数据学习路线分享hive的运行方式

好程序员大数据学习路线分享hive的运行方式,hive的属性设置: 1.在cli端设置 (只针对当前的session) 3.在java代码中设置 (当前连接) 2.在配置文件中设置 (所有session有效) 设置属性的优先级依次降低. cli端只能设置非hive启动需要的属性.(log属性,元数据连接属性) 查找所有属性: hive>set; 查看当前属性的值:通常是hadoop hive> set -v; 模糊查找属性: hive -S -e "set" | grep

好程序员大数据学习路线分享高阶函数

好程序员大数据学习路线分享高阶函数,我们通常将可以做为参数传递到方法中的表达式叫做函数 高阶函数包含:作为值的函数.匿名函数.闭包.柯里化等等. 定义函数时格式:val 变量名 =?(输入参数类型和个数)?=>?函数实现和返回值类型和个数 "="表示将函数赋给一个变量 "=>"左面表示输入参数名称.类型和个数,右边表示函数的实现和返回值类型和参数个数 作为值的函数 定义函数 scala> val func = (x:Int) => x * x

好程序员大数据学习路线分享MAPREDUCE

好程序员大数据学习路线分享MAPREDUCE,需求:统计大量的文本文件中的单词出现的次数 1)整个运算需要分阶段 阶段一:并行局部运算 阶段二 :汇总处理,不同的阶段需要开发不同的程序 2)阶段之间的调用 3)业务程序(task程序)如何并发到集群并启动程序 4)如何监控task程序的运行状态,如何处理异常 ::这些问题是开发分布式程序都会面临的问题,完全可以封装成框架::MR 的结构 一个完整的MapReduce运行时有三类实例进程: 1)MRAppMaster : 负责整个程序的过程调度和状

好程序员大数据学习路线分享Hadoop阶段的高可用配置

大数据学习路线分享Hadoop阶段的高可用配置,什么是Hadoop的HA机制 Ha机制即Hadoop的高可用(7*24小时不中断服务) 正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制 hadoop-ha严格来说应该分成各个组件的HA机制--HDFS的HA.YARN的HA HDFS的HA机制详解HDFS 的HA主要是通过双namenode协调工作实现 双namenode协调工作的要点:A.元数据管理方式需要改变: 内存中各自保存一份元数据 Edits日志只能有一份,只有Act

好程序员大数据学习路线分享HDFS读流程

1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件,这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置,对于每一个block,NameNode返回一个含有Block的元数据信息,接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一个DataNode,那么就会优先从本地DataNode节点读取数据. HDFS完成上面的工作之后返回一个F

好程序员大数据学习路线Hadoop学习干货分享

好程序员大数据学习路线Hadoop学习干货分享,Apache Hadoop 为可靠的,可扩展的分布式计算开发开源软件.Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据).包括这些模块: Hadoop Common:支持其他Hadoop模块的常用工具. Hadoop分布式文件系统(HDFS?):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问. Hadoop YARN:作业调度和集群资源管理的框架. Hadoop MapRedu