研究人员开发了一种新的“可学习任务向量”（LTVs）训练方法，该方法提高了大型语言模型（LLMs）的上下文学习能力。与之前提取任务向量的方法不同，LTVs是直接训练的，并在不同模型层和位置上展现出优越的性能和灵活性。该研究还提供了机制洞察，揭示了任务向量主要通过特定的注意力头影响预测，并在很大程度上通过模型的层进行线性传播。 AI
影响 引入了一种新颖的可训练方法来增强LLM的上下文学习能力，并提供了更深入的机制理解。
排序理由 这是一篇详细介绍改进LLM上下文学习新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2509.24169v3 Announce Type: replace Abstract: Large Language Models (LLMs) can perform new tasks from in-context demonstrations, a phenomenon known as in-context learning (ICL). Recent work suggests that these demonstrations are compressed into task vectors (TVs), compact t…