Yuyi Zhang

新研究质疑潜在标记在大型语言模型推理中的作用

一篇来自arXiv的新论文对大型语言模型中“潜在标记”的有效性提出了质疑，特别是在连续思想链（COCONUT）框架内。研究人员Yuyi Zhang及其同事发现，这些潜在标记充当了不可解释的占位符，而不是编码真正的推理过程。他们的实验表明，COCONUT虽然看起来稳定，但主要利用了数据集的伪影和捷径，导致在MMLU和HotpotQA等基准测试上的表现虚高，而未能展示真正的推理能力。