Returned-Object Profile

新方法审计基于实体的语言模型中的对象保留情况

研究人员开发了一种名为返回对象配置文件（ROP）的新方法，用于审计基于实体的语言模型管道的有效性。这些管道涉及选择一个对象，检索相关段落，并使用该证据来回答问题。ROP 专门检查在整个过程中选定对象的保留情况。在 HybridQA 数据集上的实验表明，虽然精确匹配方法能够持续保留对象，但带有重排的混合检索仅在 1.0% 的情况下会遗漏对象，这显著优于仅基于文本的 BM25，后者在 26.6% 的情况下会遗漏对象。