English(EN) Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

新研究揭示大型语言模型上下文学习在结构化数据上会失败

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-10 11:41

一篇新的研究论文指出了大型语言模型在应用于结构化数据时，其上下文学习（ICL）能力的一种失效模式。这种被称为“分类先验锁定”的现象，阻止了模型更新其在词元分布上的预训练先验，导致无法重现稀有类别。虽然像LoRA这样的参数高效微调方法可以克服这一点，但它们会带来记忆化和输出不稳定的风险。 AI

影响指出了大型语言模型在结构化数据适应性方面的一个关键限制，可能影响依赖上下文学习处理表格或分类信息的应用。

排序理由该集群包含一篇详细介绍大型语言模型行为新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Alberto Trombetta · 2026-06-10 11:41

分类先验锁定：为何上下文学习在结构化数据上会失败

Large language models (LLMs) are increasingly used as conditional generators for structured data, relying on in-context learning (ICL) to adapt to new distributions without parameter updates. We investigate the limits of ICL for structured generation under distribution mismatch, …