spark 的 map 和 flatMap 应该怎样理解？

[checgg]

conf = SparkConf().setAppName("Simple App").setMaster("local")
sc = SparkContext(conf=conf)
file = "./README.md"
“”“
111 aaa bcd
22 qqq www
”“”
dataFile = sc.textFile(file)
test = dataFile.map(lambda s : s)
print test.collect() # [u'111 aaa bcd', u'22 qqq www']
test = dataFile.flatMap(lambda s : s)
print test.collect() # [u'1', u'1', u'1', u' ', u'a', u'a', u'a', u' ', u'b', u'c', u'd', u'2', u'2', u' ', u'q', u'q', u'q', u' ', u'w', u'w', u'w'


map 文档是这样解释的： Return a new distributed dataset formed by passing each element of the source through a function func.
我的理解是对 rdd 的每一个 element 进行 func,最后返回的数量应该是等于 element 的数量的。

flatMap 是这样解释:Similar to map, but each input item can be mapped to 0 or more output items (so func should return a Seq rather than a single item).

这里不懂为什么 flatMap 结果是一个个字母?

[wayslog]

很简单啊… map 是一对一转成其他的值， flatMap 是有可能一个值转成

[wayslog]

接上面，一个值转成了不限数量个值……

[SoloCompany]

map 是一阶函数转换，比如 a -> a.name
map 之后元素个数不变是 n -> n 变换

flatMap 是二阶函数转换，把树结构摊平，比如 a -> lambda (x -> x.children)
摊平之后的元素是遍历所有叶结点的结果, 可以近似看做 n -> n^2 变换