一项新的研究论文引入了大型语言模型(LLM)的“思维惯性”概念,观察到这些模型即使在被指示停止时,仍会继续表现出明确的推断。该研究提出了新的指标来评估“不思考”行为,区分仅回答式遵从、相关但不推断的文本以及明确的推断。研究结果表明,当前的 LLM 控制不足以可靠地消除推断,尤其是在开放式任务中,这表明严格的仅回答式遵从与任务准确性之间存在权衡。 AI
影响 强调了当前 LLM 控制机制的一个基本限制,表明需要超越简单的指令遵循的新评估方法。
排序理由 学术论文,详细介绍了 LLM 行为的新现象和提出的指标。[lever_c_demoted from research: ic=1 ai=1.0]
- Boolean
- Empty-Thinking Rate
- Hugging Face
- large-language models
- LLM-as-judge Explicit Inference Rate
- multiple choice questionnaire
- Open-ended questions in surveys of patients' satisfaction with family doctors
- Question-Pre-answer Relevance
- Thinking Inertia
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →