一位 Reddit 用户探讨了像 Gemma 和 Qwen 这样的大型语言模型是否能通过分析 token 概率(logprobs)来检测自身的幻觉。实验表明,当模型不确定时,概率会分布在多个 token 上,而自信但错误的记忆可能会集中在一个错误的信念上。该用户开发了一个自定义的 WebUI 工具来测试这一点,发现 Gemma 和 Qwen 在利用其 logprobs 来识别不确定性或幻觉方面表现均不佳。 AI
影响 表明当前 LLM 自我检测幻觉的方法有限,影响了可靠性。
排序理由 用户主导的对 LLM 能力的探索,并非正式的研究论文或产品发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →