Muyu He

大型语言模型后期层可复制实体，但上下文标记是关键

研究人员调查了大型语言模型如何将其提示中的实体标记复制到输出中，这一过程对于准确回答问题至关重要。他们使用“瓶中精灵”和“注意力脑叶切除术”等新颖方法对 Qwen3-8B 模型进行了研究，发现模型后半部分中的特定层对于此实体复制任务至关重要。研究还表明，本身不存储实体信息的上下文标记，通过关注实体标记起着至关重要的作用，影响模型精确复制它们的能力。