一篇新的研究论文探讨了从生成模型(如 LLM)要求可验证工件所涉及的权衡。研究发现,要求可执行验证会显著降低 ARC-AGI-2 评估集上的成功率,性能从 77% 下降到 57%。然而,研究还表明,对现有程序候选进行简短的进化搜索可以在不增加模型成本的情况下,将性能提高 9 个以上任务,并且可验证的工件允许提前终止生成过程。 AI
影响 尽管解决方案质量最初有所下降,但要求 LLM 提供可验证的工件可以提高效率并允许提前终止。
排序理由 研究论文发布在 arXiv 上,详细介绍了实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →