Bregman divergence
PulseAugur coverage of Bregman divergence — every cluster mentioning Bregman divergence across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的因果加权方法提高了准确性和速度
研究人员引入了平衡划分树(BPT)和平衡划分森林(BPF)方法,用于估计观测因果推断中的最优权重。这些方法通过最大化Bregman散度增益来学习协变量-处理空间的划分,可以定制以增强互信息或最小化平方误差。提出的BPF方法表现出优越的性能,在各种设置下,在七种测试的权重估计器中实现了最低的平均均方根误差排名,并且能够快速拟合大型数据集。
-
arXiv论文详细介绍了具有对数障碍的新型镜像下降算法
本文介绍了在使用对数障碍时,镜像下降和近镜像下降算法的新收敛保证。作者提出了一种方法,该方法避免了当解位于边界时Bregman散度爆炸的问题,并实现了具有恒定步长的最优速率。该研究还将此方法与现有的内点法进行了比较。
-
新的V-ECE方法改进了概率分类校准误差的估计
研究人员推出了一种新颖的V-ECE方法,用于估计概率分类中的通用期望校准误差。与先前仅限于特定散度度量或需要分箱的旧方法不同,V-ECE利用依赖于预测的适当得分来估计具有通用凸散度(包括L_p距离)的校准误差。该方法采用梯度提升方法来改进重新校准,从而得到一个无需分箱或聚类即可下界真实校准误差的估计器。V-ECE在基准任务上表现出高精度,在二分类和多分类设置中均优于现有估计器。
-
Bregman散度统一用于改进神经网络优化器
研究人员开发了一个使用Bregman散度的统一框架,用于分析不同散度选择对神经网络优化器(特别是Shampoo)的影响。该框架连接了各种流行的散度,从而可以联合研究它们的影响。该研究通过经验分析了散度选择如何影响Kronecker近似,并与预处理中的有限样本误差相互作用,表明某些散度可以更好地减轻对经验二阶矩的低估。这些发现通过GPT-2预训练实验得到了验证,为改进Shampoo及相关优化技术提供了指导。
-
新方法改进离散模型参数估计
研究人员开发了一种新方法,通过结合经验局部化和变形Bregman散度来估计非归一化离散模型中的参数。该方法显著降低了计算归一化常数的计算成本。Bregman散度的变形选择使得提出的估计器具有良好的统计特性,包括效率和对异常值噪声的鲁棒性。
-
新的Riesz回归框架统一了去偏机器学习
研究人员引入了广义Riesz回归,这是一个旨在统一和改进去偏机器学习技术的新框架。该新方法利用Bregman散度下的Riesz表示拟合,提供了一种灵活的方法,可以适应各种回归目标。该框架建立了经验Riesz方程,可以精确控制系统误差并实现正交得分恒等式,其推导出的收敛速率适用于稀疏模型、再生核希尔伯特空间模型和神经网络。
-
新的牛顿法达到 O(1/k^3) 收敛速率
研究人员开发了一种新颖的直接加速牛顿方法,用于最小化具有 Lipschitz 连续 Hessian 的凸函数。这种新算法仅使用原始变量进行操作,并且每次迭代仅需要一次线性求解,在函数残差方面实现了 O(1/k^3) 的全局收敛速率。该方法值得注意的是,它在不依赖辅助子问题或对偶修正的情况下达到了这一速率,并且可以在保持其快速全局收敛速率的同时以无 Hessian 的方式实现。该构造进一步扩展到通过 Bregman 散度和复合优化问题来…
-
新的贝叶斯框架增强了时空数据的特征提取
研究人员开发了一个新的贝叶斯特征提取框架,专为高维时空数据设计,在科学领域特别有用。该框架利用高斯和扩散伽马先验来实现结构化稀疏性,并通过Bregman散度兼容各种损失函数。该方法在脑电图数据上进行了演示,分析了酒精暴露对大脑活动的影响,显示出改进的特征恢复和可解释性。
-
新框架将校准扩展到一般损失函数
研究人员开发了一种使用遗憾最小化进行校准的新框架,将先前针对特定损失函数的工作扩展到更广泛的一般损失函数。该方法利用 Bregman 散度来分析 $\alpha$-Tsallis 和 Lipschitz 损失等损失函数,实现了对维度依赖性有改进的对数遗憾。该研究还提出了 Be The Regularized Leader 算法的一种新颖遗憾等式,适用于一般损失函数。