KL regularization
PulseAugur coverage of KL regularization — every cluster mentioning KL regularization across labs, papers, and developer communities, ranked by signal.
-
新框架改进了重尾奖励下的大语言模型对齐
一篇新的研究论文介绍了一个尾部感知的、信息论的框架，旨在改进大语言模型（LLMs）的对齐，特别是在涉及重尾奖励的情况下。该框架利用了移位对数 f_theta 散度和 Rényi 散度，为次威布尔（sub-Weibull）数据建立界限，这类数据可能比传统的次高斯或次指数分布具有更重的尾部。这种方法应用于人类反馈强化学习（RLHF），展示了 Rényi 正则化对齐如何缓解困扰标准 KL 正则化的奖励攻击（reward hacking）和古…
-
新的XFactors框架实现了弱监督解耦表示学习
研究人员推出了一种新颖的弱监督变分自编码器框架XFactors，用于解耦表示学习。该方法将表示分解为特定的因子子空间和一个残差子空间，利用对比监督和InfoNCE损失来对齐目标因子。KL正则化在没有额外监督的情况下组织非目标因子的几何结构，避免了对抗性目标和辅助分类器。XFactors在包括CelebA在内的各种数据集上展示了最先进的解耦分数，并通过潜在替换实现了受控因子交换。
-
AI World Model Learns Physical Geometry Without Language
研究人员开发了一种基于变分自编码器（VAE）的世界模型，该模型可以在没有语言监督的情况下通过物理探索学习语义表征。该模型的潜在空间形成了反映物理世界的几何结构，与随机编码器相比，在方向准确性和位置表征方面有了显著提高。这种几何组织被证明是预测性能和语义对齐的共同驱动因素，KL正则化同时影响这两种能力。
-
新框架将RLHF散度分析与新算法统一
研究人员开发了一个新的从人类反馈强化学习（RLHF）的理论框架，该框架将各种散度函数（标准反向KL正则化之外）的分析统一起来。该研究引入了两种用于在线RLHF的新算法，它们各自采用不同的采样策略来实现可证明的效率。这些算法在一般$f$-散度正则化下建立了RLHF的新性能界限，展示了对遗憾和次优差距的理论保证。