Fisher--Rao
PulseAugur coverage of Fisher--Rao — every cluster mentioning Fisher--Rao across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新理论利用Wasserstein几何学扩展无偏估计
一篇新论文介绍了Wasserstein-Cramér-Rao理论，该理论通过关注估计量的敏感性而非方差来扩展经典的无偏估计理论。这个新框架利用Wasserstein几何学，类似于经典理论使用Fisher-Rao几何学。该研究建立了估计量敏感性的Wasserstein-Cramér-Rao下界，并将Wasserstein投影估计量和Hodges型估计量识别为渐近敏感性高效的。
-
新的 AlignMerge 框架在模型合并时保持 LLM 对齐
研究人员开发了 AlignMerge，一个用于合并大语言模型（LLM）的新框架，该框架明确地保持了对齐和安全属性。与可能无意中降低对齐度的先前方法不同，AlignMerge 将合并视为一个几何约束操作。它使用 Fisher-Rao 几何和对齐子空间投影器来确保在整个合并过程中保持安全性。跨越多个 LLM 系列（包括 LLaMA-3 8B 和 Mistral 7B）的实验表明，AlignMerge 提高了对齐度指标，并在各种任务上达到或…
-
新研究质疑梯度下降方法的最优性
两篇新研究论文探讨了梯度下降算法在机器学习中的理论基础和实际应用。第一篇论文分析了自然梯度下降（NGD），根据参数维度和函数属性确定了三个区域，对于高斯协方差等某些族，NGD的效率随着维度的对数而增长。第二篇论文证明，对于标准的凸优化，即使在无噪声情况下，梯度下降（或SGD）的最终迭代也无法在不知道总步数的情况下达到最优收敛速率。
-
新研究探索AI采样方法中的更快收敛速度 · 跟踪2个来源
研究人员发布了关于Wasserstein-Fisher-Rao (WFR) 梯度流的新发现，这是一种用于加速概率分布采样的收敛方法。最新研究建立在先前工作的基础上，分析了WFR流中算子分裂技术的影响。研究表明，精心选择的操作顺序和步长可以比精确的WFR流实现更快的收敛，在某些情况下甚至优于纯粹的Wasserstein或Fisher-Rao流。
-
新论文探讨用于策略梯度的 Fisher-Rao 梯度流
一篇新论文提出了一个理论框架，用于理解强化学习中的自然策略梯度方法。该研究侧重于应用于线性规划的 Fisher-Rao 梯度流，并展示了线性收敛率。这项工作为线性规划中的熵正则化提供了改进的估计，并扩展到扰动梯度流。
-
新的平流费舍尔-劳度量增强了概率测度优化
研究人员引入了一种新的平流费舍尔-劳度量，用于连续方程控制的概率测度优化任务。该度量已被证明可以提供最优下降方向，并源于三个不同的理论视角：路径测度上费舍尔-劳度量的零噪声极限、弗里德林-温策尔大偏差率泛函的二阶变分的期望值，以及动态最优输运的贝纳莫-布伦耶作用泛函的Hessian矩阵。计算实验证实，这种平流费舍尔-劳度量能有效拟合概率密度，优于优化速度场的Gauss-Newton方法。
-
FRInGe 论文引入 Fisher-Rao 积分梯度以改进 AI 模型归因
研究人员引入了 FRInGe，一种用于改进机器学习模型中基于梯度的归因的新颖方法。FRInGe 通过在预测分布空间中定义参考点并使用 Fisher-Rao 测地线进行插值，解决了现有技术（如积分梯度）的局限性。该方法旨在为模型行为提供更鲁棒和校准的解释，并在各种 ImageNet 架构中得到了证明。
-
新arXiv论文探讨梯度流动力学的几何退火
研究人员研究了将几何退火作为从概率分布采样的_一种方法，并将其视为一个优化问题。他们的工作分析了使用一系列移动目标对Wasserstein和Fisher-Rao梯度流的影响，并建立了指数收敛界限。该研究还考察了这些方法的_时间离散化版本，发现初始分布和目标分布的几何混合在Fisher-Rao情况下_并不能加速收敛。