DynaResize

DynaResize 系统优化 LLM 训练后 GPU 分配

研究人员开发了 DynaResize 系统，旨在优化大型语言模型 (LLM) 训练后阶段的 GPU 资源分配。该系统动态地在滚动和训练阶段之间重新分配 GPU，以缓解由长尾滚动延迟引起的流水线气泡。DynaResize 通过将重塑分解为细粒度操作并采用通信器重用和滞后重塑等技术来实现这一点，与静态配置相比，在吞吐量方面取得了显著的改进，并减少了执行时间。