研究人员开发了一种名为DarkLens的新方法,用于估算大型语言模型(LLM)在生成响应时对上下文的依赖程度,以及对参数知识的依赖程度。该技术将隐藏状态投影到与非嵌入矩阵弱相互作用的方向的“黑暗空间”中,并通过“暗物质比率”(DMR)量化这种依赖性。当与参数知识分数结合时,DarkLens可作为一种轻量级的忠实度检测器,在单次前向传播中运行。在六个开源LLM的三个基准上的评估表明,DarkLens在无需额外计算开销的情况下,性能可与现有方法相媲美或超越。 AI
影响 提供了一种更有效的方法来检测LLM中的忠实度幻觉,有可能提高其在关键应用中的可靠性。
排序理由 该集群包含一篇详细介绍LLM评估新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →