Cluster manager

Spark性能问题追溯到Driver瓶颈，而非Executor

最近一个Spark应用程序的性能显著下降，从38分钟飙升至4小时以上。问题并非出在Executor资源不足，因为增加Executor数量一倍反而加剧了问题。根本原因被确定为Driver端的工作，特别是循环反复调用collect()并重新广播一个大型Map，导致Driver JVM在垃圾回收时陷入困境。这凸显了监控负责任务调度和查询计划管理的Driver组件的重要性，而不是仅仅关注Executor。