Chiyan Loo

自我一致性技术对现代大型语言模型显示出收益递减

一项新研究表明，自我一致性技术（通过生成多个推理路径来提高大型语言模型的准确性）的有效性正在降低，成本也在增加。研究人员发现，在 HotpotQA 和 MATH-500 等基准测试中，增加样本数量只能带来微小的准确性提升，而标记成本却呈线性增长。在某些情况下，样本越多，性能甚至会下降，这表明对于更现代、能力更强的模型来说，自我一致性可能引入的是噪声而非信号。