KL regularization
PulseAugur coverage of KL regularization — every cluster mentioning KL regularization across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的Q学习算法通过KL正则化实现快速收敛率
研究人员开发了用于有限时间范围马尔可夫决策过程（MDP）的离线Q学习的新算法，并结合了 Kullback-Leibler (KL) 正则化。所提出的 KL-regularized Q-Learning (KLQ) 算法在没有显式悲观主义的情况下实现了 \(\widetilde{O}(1/\epsilon)\) 的样本复杂度，尽管对正则化参数和时间范围有指数依赖性。随后的 KL-regularized Pessimistic Q-Lea…
-
LLM 后训练技术通过新的蒸馏和优化方法取得进展
LLM 后训练技术近期取得了进展，重点关注参数高效微调、偏好优化和蒸馏。DIAL-OPD 等新方法在蒸馏中展示了从更少 token 中学习能力的提高，而 LSC-DPO 则为直接偏好优化提供了一种学习信号控制的方法。此外，对 Group Policy Optimization (GRPO) 的研究已识别出故障模式并提出了解决方案，GRPO 也被应用于生产 OCR 任务。
-
新研究识别出群体策略优化中的KL正则化失败
一篇题为《当KL正则化在群体策略优化中失灵时》的新研究论文探讨了KL正则化在群体策略优化中的问题。该论文确定了KL正则化可能对性能产生负面影响的七种潜在故障模式，例如奖励裁剪后的残差更新或梯度抵消。为了解决这些问题，研究人员提出了零和校准策略优化（ZCPO），这是一种使用条件KL校准组内奖励系数并将其整合到基础代理中的方法。
-
新框架改进了重尾奖励下的大语言模型对齐
一篇新的研究论文介绍了一个尾部感知的、信息论的框架，旨在改进大语言模型（LLMs）的对齐，特别是在涉及重尾奖励的情况下。该框架利用了移位对数 f_theta 散度和 Rényi 散度，为次威布尔（sub-Weibull）数据建立界限，这类数据可能比传统的次高斯或次指数分布具有更重的尾部。这种方法应用于人类反馈强化学习（RLHF），展示了 Rényi 正则化对齐如何缓解困扰标准 KL 正则化的奖励攻击（reward hacking）和古…
-
新的XFactors框架实现了弱监督解耦表示学习
研究人员推出了一种新颖的弱监督变分自编码器框架XFactors，用于解耦表示学习。该方法将表示分解为特定的因子子空间和一个残差子空间，利用对比监督和InfoNCE损失来对齐目标因子。KL正则化在没有额外监督的情况下组织非目标因子的几何结构，避免了对抗性目标和辅助分类器。XFactors在包括CelebA在内的各种数据集上展示了最先进的解耦分数，并通过潜在替换实现了受控因子交换。
-
AI World Model Learns Physical Geometry Without Language
研究人员开发了一种基于变分自编码器（VAE）的世界模型，该模型可以在没有语言监督的情况下通过物理探索学习语义表征。该模型的潜在空间形成了反映物理世界的几何结构，与随机编码器相比，在方向准确性和位置表征方面有了显著提高。这种几何组织被证明是预测性能和语义对齐的共同驱动因素，KL正则化同时影响这两种能力。
-
新框架将RLHF散度分析与新算法统一
研究人员开发了一个新的从人类反馈强化学习（RLHF）的理论框架，该框架将各种散度函数（标准反向KL正则化之外）的分析统一起来。该研究引入了两种用于在线RLHF的新算法，它们各自采用不同的采样策略来实现可证明的效率。这些算法在一般$f$-散度正则化下建立了RLHF的新性能界限，展示了对遗憾和次优差距的理论保证。