一篇来自arXiv的新论文对大型语言模型中“潜在标记”的有效性提出了质疑,特别是在连续思想链(COCONUT)框架内。研究人员Yuyi Zhang及其同事发现,这些潜在标记充当了不可解释的占位符,而不是编码真正的推理过程。他们的实验表明,COCONUT虽然看起来稳定,但主要利用了数据集的伪影和捷径,导致在MMLU和HotpotQA等基准测试上的表现虚高,而未能展示真正的推理能力。 AI
影响 挑战了某些大型语言模型推理技术的可靠性,可能影响未来的模型开发和评估方法。
排序理由 在arXiv上发表的学术论文,分析了大型语言模型的推理机制。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →