一项新研究表明,自我一致性技术(通过生成多个推理路径来提高大型语言模型的准确性)的有效性正在降低,成本也在增加。研究人员发现,在 HotpotQA 和 MATH-500 等基准测试中,增加样本数量只能带来微小的准确性提升,而标记成本却呈线性增长。在某些情况下,样本越多,性能甚至会下降,这表明对于更现代、能力更强的模型来说,自我一致性可能引入的是噪声而非信号。 AI
影响 表明传统的自我一致性方法对于先进的大型语言模型可能效率低下,可能会影响推理成本优化策略。
排序理由 学术论文分析特定大型语言模型技术的收益递减。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →