研究人员开发了 Rollplex，这是一个新的运行时系统，旨在通过强化学习提高视觉语言模型 (VLM) 训练后的效率。当前方法在不同阶段处理 rollout、参考评分和 actor 训练，这对于 VLM 来说效率低下，因为处理密集视频输入和提示前缀的计算成本很高。Rollplex 通过将前缀计算集成到 rollout 解码阶段来解决此问题，从而在不违反同步 on-policy 语义的情况下实现并发执行。这是通过面向阶段的内存管理和面向并行性的权重共享来实现的，从而优化了 GPU 内存使用并减少了冗余计算。在 32 个 Nvidia H800 GPU 上进行的实验表明，与现有方法相比，Rollplex 的速度最高可提高 2.24 倍。 AI
影响 优化了视觉语言模型的 GPU 利用率，可能加速具身 AI 代理的开发和部署。
排序理由 这是一篇详细介绍提高 AI 模型训练效率的新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
