研究人员在医学大型语言模型中发现了一种称为“过度思考”(OT)的现象,在这种现象中,模型在标准问答中回答正确,但在扩展的思维链推理中会失败。这种失败状态可以通过高精度线性解码,但尝试使用固定的线性引导方法进行纠正被证明在不同架构和领域都无效。该研究表明,失败信号与关键任务计算纠缠在一起,阻碍了直接纠正,但能够提高生成后的可靠性估计。 AI
影响 识别出 LLM 中一种特定的失败模式,该模式阻碍了纠正但有助于可靠性估计。
排序理由 学术论文,详细介绍了 LLM 的一种特定失败模式并探讨了纠正方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →