大语言模型中的思维链(Chain of Thought, CoT)推理正被重新评估,认为它可能是一个扩展陷阱,研究人员认为它可能是接口的产物,而非核心计算。CoT 的局限性包括缺乏忠实性,生成的步骤可能与模型的实际过程脱节,以及由于串行的中间工作导致的高系统成本。Coconut、分层递归模型(HRM)和 RecursiveMAS 等新兴方法正在探索潜在推理,即计算发生在内部状态而不是显式的文本中,旨在提高效率和降低延迟。然而,这种向潜在推理的转变引入了“黑箱墙”,需要新的可审计性方法,例如具有可验证规划和执行的外部治理层。 AI
影响 探讨了当前大语言模型推理方法的潜在局限性,并介绍了可能影响未来模型架构和可审计性的新研究方向。
排序理由 该条目讨论了大语言模型推理的理论局限性和新兴研究方向,而不是宣布新产品或研究里程碑。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →