negative transfer

新指标NCU揭示小型语言模型在RAG事实提取方面优于大型模型

一项名为归一化上下文利用率（NCU）的新指标已被开发出来，以更好地评估检索增强生成（RAG）系统。该指标量化了实际的上下文信息增益，并将其与参数记忆回忆区分开来。研究表明，对于需要严格事实提取的任务，小型高效语言模型可以与大型复杂模型媲美，甚至表现更好。研究还发现，大型模型和专有系统可能会表现出“先验知识主导性”，覆盖外部证据，并在其内部知识与提供的上下文冲突时遭受“负迁移”。