ICL-GAP

新指标揭示大型语言模型可能伪造上下文学习能力

研究人员开发了一种评估大型语言模型上下文学习（ICL）能力的新方法，特别关注微调如何影响这种能力。该研究引入了“上下文敏感性”（ICS）和“ICL-GAP”作为衡量注意力级别变化和行为准确性差距的指标。使用 Llama-2-7B 进行的实验表明，优化 ICS 可能导致一种分离现象：注意力模式发生显著变化，但模型在 MMLU 准确性上的实际任务表现却下降了。