Kullback--Leibler divergence
PulseAugur coverage of Kullback--Leibler divergence — every cluster mentioning Kullback--Leibler divergence across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
新研究通过球形分解和统计力学探索高斯混合模型
两篇新研究论文从不同的分析视角探讨了高斯混合模型（GMM）。第一篇论文介绍了一种使用球形径向分解的方法，将GMM概率函数表示为欧几里得球体上的积分，并建立了可微性条件和梯度表示。第二篇论文将统计力学应用于GMM和非参数最大似然估计（NPMLE），提供了改进的稳定性保证，并深入探讨了NPMLE与随机能量景观中的混沌等概念之间的关系。
-
新框架AtomBench标准化了AI模型在晶体重建方面的评估
研究人员开发了AtomBench，一个用于评估生成晶体重建模型的新框架，特别适用于常规超导体。该框架通过确保模型在重建过程中接收相同的晶体学信息，实现了标准化的比较。在使用JARVIS Supercon-3D和Alexandria DS-A/B数据集进行的测试中，MatterGen在原子坐标重建方面表现最佳，而CDVAE在晶格精度方面表现出色。研究还发现，以临界温度为条件并未持续提高重建保真度。AtomBench作为一个开源Pytho…
-
新框架增强了复杂贝叶斯问题的神经似然近似能力
研究人员开发了一种用于贝叶斯逆问题中神经似然近似的新框架，解决了复杂科学和工程模型带来的挑战。该方法通过最小化 Kullback-Leibler 散度来训练似然代理模型，这等同于最小化预期的负对数似然。所提出的方法通过允许非归一化势函数来改进理论基础，使学习问题严格凸化，并确保经验最小化器在数据充足时收敛到真实似然。该框架已成功应用于去模糊和基于非线性 PDE 的成像问题。
-
新方法解决惯性测量单元（IMU）运动评估中的标签歧义问题
研究人员开发了一种新的方法来表示和检测基于惯性测量单元（IMU）的运动评估系统中的标签歧义。该方法使用 Kullback-Leibler 散度目标，为每次重复生成一个标签分布，而不是单一的独热标签。该方法在四个数据集上的表现与传统的独热交叉熵基线相当或更优，并且能够可靠地识别有歧义的重复及其相关类别。
-
新研究探讨扩散模型、偏差缓解和强化学习应用 · 跟踪 10 个来源
近期研究探讨了扩散模型的进展，重点关注理论基础、优化技术和偏差缓解。一篇论文介绍了贝叶斯信息受限扩散（BIRD）模型，解释了扩散模型如何通过限制信息来泛化，并确定了记忆与泛化之间的相界。另一项工作 D2PO 使用动态偏好学习优化扩散采样器，提高了感知质量，性能优于基于回归的方法。此外，一种名为 CO-ALIGN 的新方法使用概念图对齐来减少文本到图像模型中的偏差，同时保持生成完整性。其他研究还探讨了扩散采样中的数值稳定性和强化学习中扩…
-
新框架量化语音生成的房间嵌入不确定性
研究人员开发了一个新框架，用于量化来自混响语音的房间嵌入的不确定性。这些嵌入由于语音内容和录音质量的变化而常常不可靠，会降低下游任务的性能。所提出的方法学习对语音内容变化具有鲁棒性的房间嵌入，并包含一个表示级别的（representation-level）不确定性分数，所有这些都不需要下游任务的监督。该方法将嵌入锚定到一个结构化的潜在空间，并使用具有基于KL的对齐的多视图数据结构，通过对比项进一步优化。一个由腐蚀引起的嵌入色散校准的不…
-
新研究为扩散模型差异提供高斯视角
本文介绍了一种用于测量和改进生成扩散模型中分布差异的新分析方法。研究聚焦于多元高斯源，推导出了源数据和反向采样数据之间Kullback-Leibler (KL)散度的闭式轨迹。通过渐近分析，该研究确定了一种基于源协方差谱导出的切线律的噪声调度，证明了高斯源在KL散度方面具有极值性质。然后，将推导出的解析KL散度应用于扩散模型的离散时间策略优化，结果表明该方法在计算预算有限的情况下，性能优于现有方法。
-
研究人员表征了新的多分布 Rényi 散度 · 跟踪了 2 个来源
研究人员表征了一个新的多分布 Rényi 散度广义族，这对于同时比较多个概率分布至关重要。这个新族被称为多路巧合散度，它源自五个独立的数学途径，表明它是规范的多分布 Rényi 演算。这项工作扩展了现有的双分布比较，并在多群体公平性和多假设检验等领域具有潜在应用。
-
新研究统一了PPO-Clip和KL-PPO算法
研究人员证明，近端策略优化（PPO）中的裁剪替代梯度可以通过每样本系数的Kullback-Leibler替代精确复制。这种等价性在训练过程的每一步都成立，包括整个内循环。在五个MuJoCo连续控制基准上的实证结果表明，两种方法产生了相同的训练曲线，这表明了对这两种常见PPO形式的统一视角。
-
新的安全 KL 散度改进 LogSumExp 优化
研究人员开发了一种 LogSumExp 函数的新颖近似方法，该函数对于熵正则化最优传输和分布鲁棒优化等优化问题至关重要。这种新的近似方法，称为安全 KL 散度，保持了凸性和光滑性，从而可以使用随机梯度方法进行高效优化。实验和理论分析表明，这种方法在基于 LogSumExp 的随机优化方面优于现有方法。
-
新的广义KL散度损失实现了最先进的鲁棒性
研究人员引入了广义Kullback-Leibler (GKL) 散度损失，这是对现有KL散度损失方法的改进。这种新的损失函数通过改进高预测分数类别的优化并减少样本偏差，解决了知识蒸馏等场景中的局限性。在CIFAR-10/100、ImageNet以及视觉-语言任务等数据集上的实验证明了GKL的有效性，在RobustBench上实现了最先进的对抗鲁棒性，并在知识蒸馏方面取得了有竞争力的性能。
-
新的 PFOM 框架通过算子匹配统一生成模型
研究人员引入了 Perron--Frobenius 算子匹配 (PFOM)，这是一个新颖的生成框架，通过匹配积分 PF 算子的密度演化，统一了流、扩散和跳跃模型。该方法利用 Kullback--Leibler 散度来实现样本条件目标，与现有方法相比，在混合高斯和双月形等基准测试中表现出更快的收敛速度和更高的效率。PFOM 将算子理论识别与当代生成建模相结合，为自适应字典和高维应用铺平了道路。
-
新的SMAA-Fair方法增强了AI排名的公平性
研究人员引入了SMAA-Fair，这是随机多标准可接受性分析（SMAA）的一个扩展，旨在将公平性纳入排名问题。这个新框架根据群体公平性指标重新加权排名，赋予更公平的结果更大的重要性。SMAA-Fair可适应各种聚合模型，并可利用不同的公平性指标，包括统计均等和Kullback-Leibler散度变体。实验表明，它能够在保持对偏好不确定性的鲁棒性的同时，改善受保护群体在有利排名位置的代表性。
-
新的知识蒸馏方法提高了土地利用图像分类的准确性
研究人员开发了一种改进的知识蒸馏框架，用于压缩用于土地利用图像分类的深度卷积神经网络。该方法采用教师-学生学习范式，其中 VGG16 网络将知识转移到 MobileNetV2 模型。通过结合来自真实标签的硬监督和使用 Kullback-Leibler 散度和余弦相似度损失的软监督，该方法在土地利用数据集上实现了 99.04% 的准确率，优于基线方法，同时显著压缩了模型。
-
新的Sinkhorn-CPD方法增强了点云配准的鲁棒性
研究人员开发了Sinkhorn-CPD，一种用于点云配准的新方法，它改进了传统的相干点漂移（CPD）算法。通过采用非均衡熵最优传输，Sinkhorn-CPD能够有效处理CPD常见的挑战，如异常值和部分重叠。新方法利用双重Kullback-Leibler惩罚和广义Sinkhorn迭代进行高效计算。实验表明，Sinkhorn-CPD在各种基准测试中均达到了最先进的精度和鲁棒性能。
-
新的P-VAE模型将信息论与代谢成本联系起来
研究人员开发了一种泊松变分自编码器（P-VAE），该模型将代谢成本纳入信息处理理论。该模型将编码率等抽象信息论量与放电率等生物物理变量联系起来，实现了编码保真度和能量消耗之间的权衡。与标准的Gaussian VAEs不同，P-VAE的Kullback-Leibler散度项与先验放电率成正比，从而产生一种新兴的代谢成本，该成本会惩罚高基线活动。这种方法为资源受限的计算理论奠定了基础。
-
新研究推进生成式AI的流匹配模型
研究人员正在探索流匹配模型（一种生成模型）的高级技术。一篇论文介绍了渐进式微调（GFT），这是一个基于退火的框架，用于提高将这些模型适应新数据分布时的稳定性和效率。另一种方法LieFlow将对称性发现重新构建为李群上的分布学习问题，从而能够识别连续和离散的对称性。此外，Latent-CFM通过利用预训练的潜在变量模型来提高流匹配效率，尤其适用于高维数据。进一步的理论工作为KL散度和Wasserstein距离下的扩散流匹配（DFM）提供…
-
新的 KL 散度类似物改进了强化学习控制
研究人员引入了作为 Kullback-Leibler (KL) 散度类似物的新散度，解决了其在强化学习中的局限性，特别是在分布不匹配或低噪声场景下。这些基于 Wasserstein 和 Kalman-Wasserstein 几何的新型散度即使在分布退化时也能保持有限。该研究证明了它们在线性高斯噪声最优控制中的有效性，表明它们可以防止奇异性并提高双积分器和倒立摆等示例的性能。
-
新的ADIW框架提高了深度学习重要性加权的效率
研究人员推出了一种名为加速动态重要性加权（ADIW）的新型框架，旨在提高深度学习中重要性加权技术的效率和通用性。ADIW通过投影梯度下降更新减少计算开销，并将方法推广到支持核均值匹配以外的更广泛的散度度量，从而解决了现有动态重要性加权方法的局限性。该框架旨在在处理联合分布偏移方面提供最先进的性能，同时显著提高计算效率。
-
新估计器推动了不平衡最优传输统计学的发展
研究人员开发了不平衡最优传输的新估计器。不平衡最优传输是一种统计方法，它将经典最优传输扩展到总质量不同的度量。该研究侧重于二次成本和 Kullback-Leibler 边际惩罚，提出目标应该是传输-增长对，而不仅仅是映射。所提出的估计器实现了 minimax 最优速率，为该领域的估计提供了统计基础。