研究人员调查了大型语言模型(LLM)在问题解决的不同时间阶段的置信度信号,区分了解决前“已知感”(FOK)和解决后“学习判断”(JOL)。他们的发现表明,虽然解决后置信度通常提供更好的认知对齐,但解决前置信度成本较低且显示出一定的校准性。研究还发现,置信度校准通过翻译在英语和马拉地语之间转移良好,但对于本地特有的马拉地语知识则显著退化,这表明仅靠语言转移不足以保证区域信息的准确性。此外,即使在生成幻觉响应时,LLM也倾向于保持高置信度,这表明其自我评估能力存在局限性。 AI
影响 强调了LLM自我评估的局限性以及处理特定区域知识的必要性。
排序理由 在arXiv上发表的关于LLM置信度评估的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →