LLM 中的上下文学习被视为隐式策略梯度

一篇新论文提出，大型语言模型 (LLM) 中的上下文学习 (ICL) 可以被理解为一种隐式策略梯度优化方法。研究表明，当满足特定的权重矩阵配置时，分数条件 ICL 与 REINFORCE 等策略梯度算法之间存在结构对应关系。该研究还通过推导出分布偏移的上限，将 ICL 与 KL 约束策略优化进行了类比。跨各种 LLM 的实验验证了这些理论发现，表明模型有效地利用分数信息来调整其输出分布，使其更倾向于得分更高的示例。 AI

影响 为理解 LLM 如何从示例中学习提供了理论框架，可能指导未来的模型开发和微调技术。

排序理由 阐述 LLM 行为理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• In-Context Learning
• KL-constrained policy optimization
• large-language models
• REINFORCE algorithm
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →