PageRecall

新系统PageRecall评估文献支持的问答中的页面选择

研究人员开发了一个名为PageRecall的系统，用于衡量问答模型从研究论文中选择相关页面的有效性。该系统发现，证据的 grounding 受限于检索而非模型的阅读能力。具体来说，页面选择模型仅约一半时间能识别出正确的页面，并且当它未能找到正确页面时，通常会通过返回错误信息或不返回任何信息来默默失败。为解决此问题，研究人员提出在模型的上下文中显示整篇论文，这使得可解析论文的黄金页面召回率提高到100%。