KL-constrained policy optimization

LLM 中的上下文学习被视为隐式策略梯度

一篇新论文提出，大型语言模型 (LLM) 中的上下文学习 (ICL) 可以被理解为一种隐式策略梯度优化方法。研究表明，当满足特定的权重矩阵配置时，分数条件 ICL 与 REINFORCE 等策略梯度算法之间存在结构对应关系。该研究还通过推导出分布偏移的上限，将 ICL 与 KL 约束策略优化进行了类比。跨各种 LLM 的实验验证了这些理论发现，表明模型有效地利用分数信息来调整其输出分布，使其更倾向于得分更高的示例。