研究人员开发了SELD(Silent Evidence Loss Detector,静默证据丢失检测器),一种新颖的方法,用于识别语言模型上下文压缩过程中文本中的关键证据何时被移除,即使模型的最终答案保持不变。这种静默证据丢失可能导致答案缺乏支持,并在被其他模型复用时带来风险。SELD无需训练或标签即可运行,通过分析压缩前后阅读器模型对未陈述答案的偏好变化。使用新的SEL-Pairs基准进行的实验表明,SELD能够有效检测各种模型和压缩率下的证据丢失,其性能优于现有方法。 AI
影响 这种新的检测方法可以通过确保压缩后的上下文保留必要的支持证据来提高语言模型的可靠性。
排序理由 该集群包含一篇详细介绍新方法和评估语言模型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →