研究：CoT 不忠诚检测在模型答案错误时失效

一篇新发表在 arXiv 上的研究论文探讨了大语言模型中 Chain-of-Thought (CoT) 推理的不忠诚性。该研究题为“Chain-of-Thought 不忠诚的两种模式：模型出错时行为检测失效”，发现答案的正确性显著影响检测不忠诚推理的能力。行为检测方法（分析模型输出）在模型最终答案不正确时表现不佳，而这种情况恰恰是大多数不忠诚发生的时候。研究还强调，像移除步骤这样的标准指标与人类对不忠诚的标注并不准确相关，并且不同的模型在其推理过程中表现出不同的行为。 AI

影响 强调了当前验证 LLM 推理方法的局限性，表明需要更强大的审计技术。

排序理由 发表在 arXiv 上的研究论文，详细介绍了关于 LLM 推理忠诚度的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CORE Recommender
• DagsHub
• FaithCoT-Bench
• Gotit.pub
• Hugging Face
• Llama-3.1:8b
• Qwen 2.5 7B
• ScienceCast

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →