研究人员在 Starpilot 和 Craftax 两个环境中发现了强化学习(RL)的实证缩放定律。这些定律能够准确预测大规模训练任务的性能、资源分配和超参数配置,计算量可扩展达两个数量级。该研究使用 Elo 分数作为比平均回合回报更具可预测性的性能指标,在 Craftax 环境中取得了新的最先进水平。然而,在 Craftax 中观察到了计算最优模型尺寸的非单调缩放模式,这与一种称为“Ray interference”的现象有关。 AI
影响 为强化学习建立了新的预测性缩放定律,有望加速大规模强化学习的训练和优化。
排序理由 学术论文,详细介绍了强化学习缩放定律的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →