JavaPairRDD<String, Map<String, String>> 结构的 RDD,input data 约在 1T 作用,使用常规的 reducebykey 的 excutor 内存会不够, 目前,spark.executor.memory 设置的 4G,准备继续往上加到 8G 再试, 这种情况下除了 加 executor.memory 还有其他 有效解决方式吗? 小弟 spark 菜鸡,希望各位大佬给点指导。
JavaPairRDD<String, Map<String, String>> 结构的 RDD,input data 约在 1T 作用,使用常规的 reducebykey 的 excutor 内存会不够, 目前,spark.executor.memory 设置的 4G,准备继续往上加到 8G 再试, 这种情况下除了 加 executor.memory 还有其他 有效解决方式吗? 小弟 spark 菜鸡,希望各位大佬给点指导。
|
deckenMar 4, 2019
1
内存不够时间来凑 可以用 reparation 将数据分成更多分区
|
|
ijk0Mar 4, 2019
2
增加 executer 数
|
|
bsidbMar 4, 2019
3
用 Spark 的 DataFrame 的 API 来完成聚合操作。DataFrame API 在处理超大规模数据时,性能比 RDD 的 reduceByKey 高非常多。
|
|
sampengMar 4, 2019 via iPhone
4
你这个怎么感觉就跟 500m 内存怎么分析一个 T 数据一个故事呢…内存不够时间来凑…
|
|
burbyMar 4, 2019 via iPad
7
google bigquery
|