Kullback--Leibler
PulseAugur coverage of Kullback--Leibler — every cluster mentioning Kullback--Leibler across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的SFAC方法通过扩散策略增强了强化学习
研究人员引入了Schrödinger--Föllmer Actor--Critic (SFAC)方法，这是一种用于离线到在线强化学习的新方法。SFAC利用条件扩散，通过采用minimax Bellman critic来估计动作价值函数，从而改进策略。该方法旨在解决扩散策略中从结果目标分布采样的挑战，并在连续控制任务上展示了改进的性能。
-
联邦回归方法处理异构客户端数据
研究人员开发了一种新颖的联邦非参数回归方法，特别是针对Nadaraya-Watson回归，旨在处理具有异构数据分布的客户端。该系统允许每个客户端将核摘要发送到中央服务器，然后中央服务器构建一个联邦估计器，而无需客户端的个体数据。这种方法使客户端能够将其本地预测与联邦模型相结合，通过减少平方预测损失来量化预测准确性的提高。
-
新框架改进了对 AI 模型中稀有事件的估计
研究人员开发了一个名为“脆弱感知”（FA）的新框架，用于改进对有限数据中缺失质量和未见物种计数的估计。该方法明确量化了这些统计数据对抽样波动的敏感性。通过使用基于单例的脆弱性度量，该框架通过根据其脆弱性调整对基础估计的依赖性，自适应地正则化了诸如 Good--Turing 和 Good--Toulmin 等传统估计器。这种方法提供了一种轻量级的校正，可提高准确性和稳定性，尤其是在碎片化或小样本设置中，这一点已在众多实验配置中得到证明。
-
新研究质疑梯度下降方法的最优性
两篇新研究论文探讨了梯度下降算法在机器学习中的理论基础和实际应用。第一篇论文分析了自然梯度下降（NGD），根据参数维度和函数属性确定了三个区域，对于高斯协方差等某些族，NGD的效率随着维度的对数而增长。第二篇论文证明，对于标准的凸优化，即使在无噪声情况下，梯度下降（或SGD）的最终迭代也无法在不知道总步数的情况下达到最优收敛速率。
-
新的QuanVI算法使用受量子启发的算法进行高维推断
研究人员推出了一种新颖的评分式变分推断算法QuanVI，该算法解决了高维应用中的挑战。通过将混合态密度算符表述与使用矩阵乘积算符（MPO）结构的量子张量网络（QTN）参数化相结合，QuanVI可以更有效地表示退化的低能子空间。这种方法压缩了密度算符以防止参数呈指数增长，并在低维度上与精确解达成一致，同时扩展到高维基准测试。
-
新的ShamAN-Q方法将大模型权重削减至亚1比特
研究人员开发了ShamAN-Q，一种新颖的亚1比特大模型训练后量化方法。该技术通过整合源自Shampoo优化器的密集曲率度量来增强NanoQuant，Shampoo优化器使用经验Fisher信息矩阵。ShamAN-Q旨在通过优化权重重建和跨层重新分配比特来提高模型效率和性能，并在Qwen3-Base模型上显示出困惑度的大幅降低。
-
新理论指导Transformer注意力机制的LoRA秩选择
研究人员开发了一个理论框架，用于确定Transformer注意力机制中低秩适应（LoRA）的最佳秩。这项工作提供了与任务相关的近似误差界限，深入探讨了秩如何影响注意力函数匹配的准确性。研究还探讨了秩共享和融合多头LoRA中的因子分解约束以及联合查询/键更新的影响。
-
新的Riesz回归框架统一了去偏机器学习
研究人员引入了广义Riesz回归，这是一个旨在统一和改进去偏机器学习技术的新框架。该新方法利用Bregman散度下的Riesz表示拟合，提供了一种灵活的方法，可以适应各种回归目标。该框架建立了经验Riesz方程，可以精确控制系统误差并实现正交得分恒等式，其推导出的收敛速率适用于稀疏模型、再生核希尔伯特空间模型和神经网络。
-
SPARE框架在多模态大语言模型代理中修剪推理文本，保留视觉证据
研究人员开发了SPARE框架，旨在管理多模态大语言模型（MLLM）代理的上下文修剪。该方法解决了“文本债务”问题，即模型自行生成的推理文本会压垮上下文窗口，从而掩盖关键的视觉证据。SPARE采用KL引导的方法移除冗余的推理令牌，同时保留重要的视觉信息，从而提高代理的准确性并增强其对视觉输入的依赖性。
-
新的离散状态采样算法利用Nesterov加速
研究人员开发了一类新的离散状态采样算法，该算法建立在Nesterov加速梯度法的基础上。该方法通过将传统Metropolis-Hastings算法的概率分布演化解释为KL散度上的梯度下降，从而对其进行了扩展。所提出的方法利用离散Wasserstein-2度量和迁移函数，通过阻尼哈密顿流实现基于动量的加速。还引入了一个粒子相互作用系统来近似这些加速采样动力学，并通过数值示例证明了其在估计离散得分函数方面的有效性。
-
新的PAC-Bayes理论聚焦行为等价性与Z信息
一篇新的研究论文介绍了PAC-Bayes理论，该理论超越了参数空间，聚焦于行为等价性和Z信息。该研究使用可测量的行为映射和测度分解来形式化行为等价性，以分解经典的PAC-Bayes复杂度。这种分解将对预测行为的不确定性与等价实现之间的变化分离开来，将Z信息定义为KL散度与仅行为不确定性复杂度之间的差距。
-
新的KL投影方法增强了双重随机聚类
研究人员开发了一种新颖的双重随机聚类方法，通过对低秩因子进行精确的Kullback--Leibler (KL)投影。该方法利用具有规定行边际和共享、学习到的列边际的非负因子，减少了有效变量，并实现了高效的无矩阵Hessian-向量乘积。该方法应用于双重随机图学习，无需具体化大型优化变量即可诱导出精确的双重随机图。匹配聚类实验证明了其具有竞争力的准确性和有利的随时可用行为。
-
新的PTQ方法增强了Vision Transformer在边缘设备的效率
两篇新研究论文介绍了用于Vision Transformer（ViTs）的先进训练后量化（PTQ）技术，以提高在资源受限设备上的效率。MixFrag通过估计组件脆弱性并将比特分配制定为背包问题，专注于自适应的层级精度分配，在ImageNet-1K上取得了有竞争力的性能，并在COCO目标检测上取得了最先进的结果。DopQ-ViT通过将量化与激活分布对齐并处理异常值来解决性能下降问题，提出了一种Tan量化器和一种MAD引导的最优缩放因子，…