研究人员开发了一种评估大型语言模型上下文学习（ICL）能力的新方法，特别关注微调如何影响这种能力。该研究引入了“上下文敏感性”（ICS）和“ICL-GAP”作为衡量注意力级别变化和行为准确性差距的指标。使用 Llama-2-7B 进行的实验表明，优化 ICS 可能导致一种分离现象：注意力模式发生显著变化，但模型在 MMLU 准确性上的实际任务表现却下降了。 AI
影响 这项研究揭示了评估大型语言模型能力时可能存在的陷阱，表明基于注意力的上下文学习代理可能无法准确反映微调后的行为表现。
排序理由 学术论文，详细介绍了一种新方法论和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
- Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
- In-context learning
- fine-tuning
- ICL-GAP
- In-Context Sensitivity
- large language models
- Llama-2-7B
- MMLU
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
