实体
KL regularization
KL regularization
PulseAugur coverage of KL regularization — every cluster mentioning KL regularization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的XFactors框架实现了弱监督解耦表示学习
研究人员推出了一种新颖的弱监督变分自编码器框架XFactors，用于解耦表示学习。该方法将表示分解为特定的因子子空间和一个残差子空间，利用对比监督和InfoNCE损失来对齐目标因子。KL正则化在没有额外监督的情况下组织非目标因子的几何结构，避免了对抗性目标和辅助分类器。XFactors在包括CelebA在内的各种数据集上展示了最先进的解耦分数，并通过潜在替换实现了受控因子交换。
-
AI World Model Learns Physical Geometry Without Language
研究人员开发了一种基于变分自编码器（VAE）的世界模型，该模型可以在没有语言监督的情况下通过物理探索学习语义表征。该模型的潜在空间形成了反映物理世界的几何结构，与随机编码器相比，在方向准确性和位置表征方面有了显著提高。这种几何组织被证明是预测性能和语义对齐的共同驱动因素，KL正则化同时影响这两种能力。
-
新框架将RLHF散度分析与新算法统一
研究人员开发了一个新的从人类反馈强化学习（RLHF）的理论框架，该框架将各种散度函数（标准反向KL正则化之外）的分析统一起来。该研究引入了两种用于在线RLHF的新算法，它们各自采用不同的采样策略来实现可证明的效率。这些算法在一般$f$-散度正则化下建立了RLHF的新性能界限，展示了对遗憾和次优差距的理论保证。