一项关于抽象与推理语料库（ARC）的新研究强调了预训练和测试时训练（TTT）预算对模型性能的重大影响。研究人员调查了改变这些预算如何影响 VARC 和 TRM 模型，发现增加 TTT 样本呈现次数可持续提高两者的 ARC pass@2 分数。然而，TTT 任务变体数量的好处有所不同，TRM 表现出持续改进，而 VARC 在变体较少时表现更好。研究还指出，VARC 在没有预训练的情况下也具有竞争力，而 TRM 则从中受益匪浅，这凸显了在 ARC 评估中标准化报告训练预算的必要性。 AI
影响 强调了在人工智能基准评估中标准化报告训练预算的关键需求，以确保公平比较。
排序理由 学术论文，详细介绍了关于特定基准模型训练预算的受控研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
