不要将大型 RDD 的所有元素拷贝到请求驱动者

Collect 操作会试图将 RDD 里面的每一条数据复制到驱动机器(submit 请求的机器)上，这时候会发生内存溢出和崩溃。

同样，要谨慎使用下面的操作，除非你能确保数据集小到足以存储在内存中：

阅读原文