好吧,元组不能转为字典。或者说直接不能转,间接可以。当然元组有格式要求的。
[(key1,value1),(key2,value2),...]
之所以把这个问题抛出来是因为,spark的zipWithIndex本来应返回字典,但却返回了上面这种格式。
当然在spark的环境下它还是可以被当做字典支持的。你可以用lookup函数。
然而,lookup函数式不能传到rdd的一些操作的lambda表达式的,例如:
#一个错误的例子
sholdbedict = sc.parallelize([4,5,6]).zipWithIndex()
sholdbedict.collect()#输出[(4, 0), (5, 1), (6, 2)]
sholdbedict.lookup(6)#也没错
just4test = sc.parallelize([6,4,6])
just4test.map(lambda _: sholdbedict.lookup(_))#返回每个元素的编号,报错了
#结束一个错误的例子
因为lookup不能传到RDD.map函数里。其它的也不行。
时间: 2024-11-13 00:00:53