实体
Rényi Divergence and Kullback-Leibler Divergence
Rényi Divergence and Kullback-Leibler Divergence
PulseAugur coverage of Rényi Divergence and Kullback-Leibler Divergence — every cluster mentioning Rényi Divergence and Kullback-Leibler Divergence across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新框架改进了重尾奖励下的大语言模型对齐
一篇新的研究论文介绍了一个尾部感知的、信息论的框架，旨在改进大语言模型（LLMs）的对齐，特别是在涉及重尾奖励的情况下。该框架利用了移位对数 f_theta 散度和 Rényi 散度，为次威布尔（sub-Weibull）数据建立界限，这类数据可能比传统的次高斯或次指数分布具有更重的尾部。这种方法应用于人类反馈强化学习（RLHF），展示了 Rényi 正则化对齐如何缓解困扰标准 KL 正则化的奖励攻击（reward hacking）和古…
-
新方法表征隐藏加权稀疏图的恢复阈值
研究人员开发了一种统一的表征方法，用于刻画噪声高维数据中隐藏结构恢复的信息论极限。该研究侧重于识别嵌入在随机加权完全图中的未知图，其中边权重遵循特定分布。研究结果将KL散度与Erdős-Rényi随机图模型的阈值联系起来，并证明了对于高斯等特定分布存在全有或全无现象。
-
新算法提高了非对数凹形分布的采样复杂性
研究人员开发了一种从非对数凹形分布采样的算法，改进了先前的方法。该算法利用了对数凹形采样方面的最新进展，并使用受限高斯预言机（RGO）实现。这种方法在相对Fisher信息方面提供了与对数凹形采样维度依赖性相匹配的复杂性保证，标志着非对数凹形分布的改进。