研究人员开发了LoCoJAX,一个旨在提高TPU上小模型强化学习效率的新框架。研究发现,现有的基于Pathways的强化学习模型在处理小模型时会产生显著的协调开销,对于一个0.6B参数的模型,主机编排会消耗36%的步进时间。LoCoJAX通过在每个TPU主机上实现本地rollout和奖励处理来解决这个问题,与Qwen3-0.6B上的优化Pathways基线相比,速度提高了1.3-3.6倍。对Ray管理的分解模式进行的进一步实验表明,当rollout时间很长时,重叠rollout和训练可以带来额外的好处。 AI
影响 这项研究可能导致更高效的小型AI模型训练,从而降低计算成本并提高可访问性。
排序理由 该项目是一篇学术论文,详细介绍了一种优化AI模型训练的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →