Hakaze Cho

新研究揭示面向任务的信息移除是上下文学习的关键

一篇新研究论文探讨了大语言模型中上下文学习（ICL）的内部工作原理，提出ICL通过选择性地移除模型内部表示中与任务无关的信息来发挥作用。研究表明，在零样本场景下，模型会产生任意输出，因为它们的表示包含了所有任务的信息。然而，少样本演示能够有效地引导模型丢弃冗余信息，从而专注于预期任务。研究人员在模型的注意力机制中识别出特定的“去噪头”，这对信息移除过程至关重要，并证明禁用这些头会显著降低ICL的准确性。