Question Damage Score

新指标探究大型语言模型对语言推理上下文的依赖性

研究人员开发了一种名为问题损害评分（Question Damage Score）的新指标，用于评估大型语言模型在语言推理中对所提供上下文的依赖程度。他们使用英国语言奥林匹克竞赛中的谜题，通过移除单个上下文示例（包括那些被确定为“承重”的示例）来创建修改版本。在对三个前沿大型语言模型进行测试时，即使在关键上下文被移除的情况下，模型也经常未能避免回答，这表明存在真正的上下文依赖性与记忆或推理之间的问题。