研究人员开发了一种名为返回对象配置文件(ROP)的新方法,用于审计基于实体的语言模型管道的有效性。这些管道涉及选择一个对象,检索相关段落,并使用该证据来回答问题。ROP 专门检查在整个过程中选定对象的保留情况。在 HybridQA 数据集上的实验表明,虽然精确匹配方法能够持续保留对象,但带有重排的混合检索仅在 1.0% 的情况下会遗漏对象,这显著优于仅基于文本的 BM25,后者在 26.6% 的情况下会遗漏对象。 AI
影响 这项研究引入了一个新的审计框架,可以提高依赖于基于实体的语言模型的 AI 系统的可靠性和透明度。
排序理由 该集群包含一篇学术论文,详细介绍了一种用于语言模型管道的新审计方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →