两篇新研究论文探讨了Transformer模型上下文学习（ICL）的复杂性。第一篇论文引入了一个正式任务IC-recall，用于研究Transformer在ICL过程中如何利用存储在其参数中的事实知识，并证明在最小数据微调过程中会出现特定的成对注意力模式。第二篇论文研究了多模态ICL，揭示了一种学习不对称性，即主要模态的高多样性即使在次要模态数据有限的情况下也能实现有效多模态ICL，并识别出一种跨模态复制标签的归纳式机制。 AI
影响 这些论文提供了对Transformer如何从提示和跨模态中学习的更深入理解，可能指导未来的模型开发和微调策略。
排序理由 该集群包含两篇详细阐述Transformer模型能力理论和机制分析的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.27774v1 Announce Type: new Abstract: In-context learning \ -- performing tasks based on examples given in the prompt \ -- is an important capability that has emerged in large language models and has received significant attention in both theory and practice. Existing t…
arXiv:2601.20796v2 Announce Type: replace Abstract: Transformer-based multimodal large language models often exhibit in-context learning (ICL) abilities. Motivated by this phenomenon, we ask: how do transformers learn to associate information across modalities from in-context exa…