1.drop,dropRight,dropWhile
drop: drop(n: Int): List[A] 丢弃前n个元素，返回剩下的元素
dropRight: dropRight(n: Int): List[A] 丢弃最后n个元素，返回剩下的元素
dropWhile: dropWhile(p: (A) ⇒ Boolean): List[A] 从左向右丢弃元素，直到条件p不成立
1 val nums = List(1,1,1,1,4,4,4,4) 2 val left = nums.drop(4) // List(4,4,4,4) 3 val right = nums.dropRight(4) // List(1,1,1,1) 4 val tailNums = nums.dropWhile( _ == nums.head) // List(4,4,4,4)
还有更多的操作 http://blog.csdn.net/pzw_0612/article/details/45936165
2. GraphX 图数据建模和存储
原文： http://blog.csdn.net/pelick/article/details/47293495
(1)背景:简单分析一下GraphX是怎么为图数据建模和存储的。
(2)入口:可以看 GraphLoader 的函数，
1 def edgeListFile( 2 sc: SparkContext, 3 path: String, 4 canonicalOrientation: Boolean = false, 5 numEdgePartitions: Int = -1, 6 edgeStorageLevel: StorageLevel = StorageLevel.MEMORY_ONLY, 7 vertexStorageLevel: StorageLevel = StorageLevel.MEMORY_ONLY) 8 : Graph[Int, Int]
path可以是本地路径(文件或文件夹)，也可以是hdfs路径，本质上是使用 sc.textFile 来生成HadoopRDD的， numEdgePartitions 是分区数。
Graph的存储是分EdgeRDD和VertexRDD两块，可以分别设置StorageLevel。默认是内存。
这个函数接受边文件，即’1 2’, ‘4 1’这样的点到点的数据对组成的文件。把这份文件按分区数和存储level转化成一个可以操作的图。
(3)流程:
- sc.textFile 读文件，生成原始的RDD
- 每个分区(的计算节点)把每条记录放进 PrimitiveVector 里，这个结构是spark里为primitive数据优化的存储结构。
- 把 PrimitiveVector 里的数据一条条取出，转化成 EdgePartition ，即 EdgeRDD 的分区实现。这个过程中生成了面向列存的结构：src点的array，dst点的array，edge的属性array，以及两个正反向map(用于对应点的local id和global id)。
- 对 EdgeRDD 做一次count触发这次边建模任务，真正persist起来。
- 用 EdgePartition 去生成一个 RoutingTablePartition ，里面是vertexId到partitionId的对应关系，借助 RoutingTablePartition 生成 VertexRDD 。
- 由 EdgeRDD 和 VertexRDD 生成 Graph 。前者维护了边的属性、边两头顶点的属性、两头顶点各自的global vertexID、两头顶点各自的local Id（在一个edge分区里的array index）、用于寻址array的正反向map。后者维护了点存在于哪个边的分区上的Map。
以下是代码，比较清晰地展现了内部存储结构。
private[graphx]
class EdgePartition[
@specialized(Char, Int, Boolean, Byte, Long, Float, Double) ED: ClassTag, VD: ClassTag](
localSrcIds: Array[Int],
localDstIds: Array[Int],
data: Array[ED],
index: GraphXPrimitiveKeyOpenHashMap[VertexId, Int],
global2local: GraphXPrimitiveKeyOpenHashMap[VertexId, Int],
local2global: Array[VertexId],
vertexAttrs: Array[VD],
activeSet: Option[VertexSet])
extends Serializable {
/**
* Stores the locations of edge-partition join sites for each vertex attribute in a particular
* vertex partition. This provides routing information for shipping vertex attributes to edge
* partitions.
*/
private[graphx]
class RoutingTablePartition(
private val routingTable: Array[(Array[VertexId], BitSet, BitSet)]) extends Serializable {
(4)GraphLoader:graphLoader是graphx中专门用于图的加载和生成，最重要的函数就是edgeListFile
(5)IllegalArgumentException此异常表明向方法传递了一个不合法或不正确的参数。
(6)GraphX提供了ConnectedComponents和StronglyConnected-Components算法，使用它们可以快速计算出相应的连通图
(7)val graph = GraphLoader.edgeListFile(sc, "/home/spark/spark/graphx/data/followers.txt")//加载边时顶点是边上出现的点
(8)val bobsScore = scores.getOrElse("Bob", 0) 检查是否包含指定的键。