English(EN) How Few-Shot Examples Add Up: A Causal Decomposition of Function Vectors in In-Context Learning

新研究解释了少样本学习在大型语言模型中是如何工作的

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-26 04:00

研究人员开发了一种新方法来理解少样本学习在大型语言模型中是如何工作的。他们的研究表明，模型的行为是个体示例的线性组合，暗示了累加的贡献。模型还根据上下文自适应地重新加权这些示例，优先考虑更具信息性或歧义性更小的演示。这项工作通过将查询-键路由与值更新分开，为提示如何实现任务提供了机械化解释。 AI

影响提供了对 in-context learning 的机械化理解，可能指导未来的模型开发和提示工程。

排序理由学术论文，详细介绍了 LLM 中 in-context learning 的新机械化解释。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Entang Wang, Yiwei Wang, Aleksandra Bakalova, Michael Hahn · 2026-05-26 04:00

少样本示例如何累加： in-context learning 中函数向量的因果分解

arXiv:2605.16591v2 Announce Type: replace-cross Abstract: In-context learning (ICL) excels at new tasks from minimal examples, yet we still lack a mechanistic explanation of how few-shot prompts shape a model's function vector (FV)--a causal activation direction that drives task …