Kullback--Leibler divergence
PulseAugur coverage of Kullback--Leibler divergence — every cluster mentioning Kullback--Leibler divergence across labs, papers, and developer communities, ranked by signal.
- instance of Gotit.pub 70%
- used by ScienceCast 70%
- used by Gotit.pub 70%
- used by DagsHub 70%
- used by alphaXiv 70%
- used by CatalyzeX 70%
- instance of Kullback-Leibler information as a basis for strong inference in ecological studies 70%
- instance of Wasserstein 70%
- used by Kullback-Leibler information as a basis for strong inference in ecological studies 70%
- used by Wasserstein 70%
10 天有情绪数据
-
提出航空器防撞系统AI安全验证方法
一篇新论文提出了一种用于验证航空安全AI/ML系统所用数据分布代表性的方法。该方法解决了欧洲航空安全局（EASA）关于展示ODD完整性的要求。它利用Kullback-Leibler散度和Cramér's V进行量化评估，为安全关键型AI工程提供了一个结构化流程。
-
新算法精确计算奇异AI模型的学习系数
研究人员开发了一种新的确定性算法，用于精确计算二维奇异模型中的学习系数。该方法解决了传统信息准则（如BIC）在深度学习中常见的奇异条件下失效的局限性。新算法精确计算局部实对数规范阈值（RLCT），适用于Kullback-Leibler距离与多项式接触等价的模型，相比现有的基于采样的估计技术有了显著的进步，并为它们的校准提供了基准。
-
新的Bethe自由能公式增强了主动推理能力
研究人员提出了一种使用Bethe自由能泛函的主动推理新公式，该公式通过消息传递支持推理。这种方法解决了现有方法中自由能泛函缺乏Kullback-Leibler结构从而阻碍消息传递处理的局限性。所提出的方法对Bethe拉格朗日量施加了信息约束，确保了在给定动作的情况下，未来观测、状态和参数之间的互信息足够大。这种约束的Bethe拉格朗日量在特定条件下可以恢复期望自由能解，从而允许代理的认识驱动力发生变化。
-
揭示语言模型知识蒸馏的新分布视图
研究人员为语言模型的知识蒸馏（KD）引入了一种新的分布视角。该方法超越了对 token 分布的点对点比较，而是考虑了教师模型输出的多种温度视图。然后，学生模型针对这些视图的几何感知聚合进行训练，该聚合通过各种池化和聚合方法进行形式化，包括去偏的 Sinkhorn 散度。在指令微调模型上的实验表明，多温度聚合的收益取决于这些视图的离散度，而最优的 KD 损失函数则取决于教师模型和学生模型之间的性能差距。
-
新算法增强生成模型在极端事件预测方面的能力
研究人员推出了一种新颖的微调生成模型以更好地捕捉极端事件和重尾分布的方法——CVaR惩罚生成粒子算法（CVaR-GPA）。该算法利用Lipschitz正则化的Kullback-Leibler散度的Wasserstein梯度流，并结合条件在险价值（CVaR）惩罚。这种方法无需预先了解目标分布的尾部特征即可进行稳健学习，使模型能够更有效地适应采样不足的尾部。CVaR-GPA在各种合成和真实世界数据集（包括金融投资组合数据）上都显示出全局精…
-
新研究探索评分驱动滤波器的在线学习
一篇新发表在arXiv上的研究论文详细介绍了评分驱动滤波器在线学习的进展。该研究通过将增益参数视为一个决策变量来优化它，该参数控制着这些滤波器中的更新幅度。研究人员开发了一种使用Kullback-Leibler目标和镜像下降几何的方法来建立动态遗憾界限，在模拟和预测股票指数波动性等实际应用中显示出性能的提高。
-
新的攻击通过标签翻转和过采样来针对联邦GAN
研究人员详细介绍了针对生成对抗网络（GAN）的联邦学习设置的新型对抗攻击。这些攻击涉及恶意客户端在本地训练期间通过翻转标签或对有毒样本进行过采样来操纵数据。目的是扭曲全局生成器的输出，使其将目标标签映射到错误的类别。该研究使用Kullback-Leibler散度量化了影响，表明虽然语义损害随中毒强度线性增加，但与真实分布的偏差呈二次方增长，这使得检测变得困难。
-
新框架改进了重尾奖励下的大语言模型对齐
一篇新的研究论文介绍了一个尾部感知的、信息论的框架，旨在改进大语言模型（LLMs）的对齐，特别是在涉及重尾奖励的情况下。该框架利用了移位对数 f_theta 散度和 Rényi 散度，为次威布尔（sub-Weibull）数据建立界限，这类数据可能比传统的次高斯或次指数分布具有更重的尾部。这种方法应用于人类反馈强化学习（RLHF），展示了 Rényi 正则化对齐如何缓解困扰标准 KL 正则化的奖励攻击（reward hacking）和古…
-
新框架统一了生成扩散模型的分析
一篇新的研究论文通过检查正向-反向扩散过程的熵产生率，引入了一个统一的生成扩散模型分析框架。该方法可以将终端 Kullback-Leibler 散度精确地分解为初始化、分数逼近和时间离散化误差。该框架实现了 Euler-Maruyama 采样器 O(h^2) 的收敛率，优于现有方法，并通过调整扩散系数统一了各种扩散模型的分析。
-
新方法增强变分自编码器潜在空间优化
研究人员开发了一种将变分自编码器（VAE）训练视为软约束优化问题的新方法。该方法旨在提高单个潜在变量的编码能力以及这些变量在潜在空间中的解耦组织。该方法引入了基于熵的约束（EC）来限制潜在代码携带的关于生成因素的互信息，并采用权重滤波器来修剪低熵维度。在dSprites和MNIST数据集上的实验表明，解耦分数显著提高，重构误差降低，并且在更少的训练周期内下游分类精度得到提升。
-
新的CausalGate框架通过剪枝模块提升Transformer效率
研究人员开发了CausalGate，一个旨在提高Transformer推理效率的新框架。与依赖观察性启发式方法的前辈不同，CausalGate采用一种干预引导的方法来精确衡量丢弃单个Transformer模块的语义影响。然后，这种重要性层次结构被蒸馏成静态的、轻量级的门控，消除了运行时开销。在TinyLlama-1.1B、Qwen2.5-3B和Llama-3.1-8B等模型上的评估表明，CausalGate的性能优于现有的动态路由和层…
-
新的TRSOC方法通过KL散度增强最优控制
研究人员开发了一种名为轨迹正则化随机最优控制（TRSOC）的新方法，该方法通过引入Kullback--Leibler散度来增强标准的随机最优控制。该散度衡量受控轨迹分布与参考轨迹分布之间的差异，有效地作为漂移失配的惩罚。该方法保持了动态规划结构，并导致修改后的运行成本。实验表明，在性能和对参考动力学（包括从离线数据中学到的动力学）的遵循之间存在可调的权衡。
-
新的统计方法通过不确定性量化增强了生成模型评估
研究人员开发了一种新的统计方法来评估生成模型，重点关注原则性的不确定性量化。该方法利用 Kullback-Leibler (KL) 散度来衡量生成模型与真实数据分布之间的距离，为基于核的方法提供了一种无参数的替代方案。该技术可以扩展到条件生成模型，并使用 Edgeworth 展开适应有限数据场景，在模拟和真实世界数据集上均表现出优于现有方法的性能和统计置信度。
-
新框架对齐文本和视频分布以改进检索
研究人员引入了分布对齐桥梁（DAB），一个新颖的文本到视频检索框架，将任务视为分布对齐问题。DAB不进行直接匹配，而是将文本和视频嵌入建模为高斯分布，并纳入不确定性。该系统使用受扩散模型启发的桥梁，迭代地将文本分布向视频分布细化，并通过基于Kullback-Leibler散度的对比损失进行优化相似度。在MSR-VTT和VATEX等基准上的评估表明，DAB优于现有的概率和基于扩散的方法。
-
新的arXiv论文探讨生成模型的半监督学习
两篇提交至arXiv的最新研究论文提出了针对条件生成模型的新型半监督学习技术。第一篇论文《通过标签增强实现的半监督条件扩散（LACD）》介绍了一种利用未标记数据的方法，为其分配一个微不足道的标签，理论上证明比纯监督方法收敛更快。第二篇论文《通过随机插值和充分表示实现的半监督条件生成学习（RepG）》侧重于将生成分解为潜在采样和重建阶段，以提高样本效率并缓解低标签场景下的维度灾难。
-
新的牛顿算法增强了具有 KL 散度的非负矩阵分解 · 跟踪 2 个来源
研究人员开发了一种新颖的牛顿型算法，用于非负矩阵分解 (NMF)，该算法利用 Kullback-Leibler (KL) 散度。这种新方法通过对损失函数进行二阶泰勒展开，为分析计数数据集（如词-文档矩阵和图像）提供了一种有效的方法。该算法推广了 HALS 算法，已被证明具有收敛性，并在各种数据集上与现有的最先进方法相比具有竞争力。
-
新研究分析用于信用风险模型监控的散度度量
一篇新发表在arXiv上的研究论文分析了用于监控信用风险模型的散度度量的统计特性和功效。该研究侧重于Jensen-Shannon散度和Kullback-Leibler散度，并将它们与常用的总体稳定性指数（Population Stability Index）进行了比较。研究结果表明，Jensen-Shannon散度能够更好地控制第一类错误（Type I errors），最大限度地减少假阳性，但与Kullback-Leibler散度和总…
-
新的RL框架REVA-PO提高了X射线报告生成的准确性
研究人员开发了REVA-PO，这是一个新颖的强化学习框架，旨在稳定用于从胸部X射线生成报告的模型训练。这种新方法通过根据响应质量动态调整正则化权重并定期将参考策略重置为强大的验证检查点来解决不稳定性问题。该框架还包括一个三阶段训练流程，包括监督微调和RL。在MIMIC-CXR和IU-Xray数据集上的评估显示，在语言质量和临床准确性方面都有显著改进，设定了新的最先进基准。
-
量子电路出生机增强了不平衡数据集的合成数据生成
研究人员开发了一个混合量子经典框架，利用量子电路出生机（QCBMs）为不平衡表格数据集生成合成数据。该方法利用叠加和纠缠等量子特性，比传统方法更有效地模拟复杂概率分布。在 Iris 和 Telco Customer Churn 数据集上的实验表明，使用 QCBM 生成的样本增强数据可将 F1 分数提高 5-15%，少数类召回率提高 10-25%，证明了强大的分布保真度和与 SMOTE 等经典过采样技术相比具有竞争力。
-
新研究通过球形分解和统计力学探索高斯混合模型
两篇新研究论文从不同的分析视角探讨了高斯混合模型（GMM）。第一篇论文介绍了一种使用球形径向分解的方法，将GMM概率函数表示为欧几里得球体上的积分，并建立了可微性条件和梯度表示。第二篇论文将统计力学应用于GMM和非参数最大似然估计（NPMLE），提供了改进的稳定性保证，并深入探讨了NPMLE与随机能量景观中的混沌等概念之间的关系。