Fisher information metric
PulseAugur coverage of Fisher information metric — every cluster mentioning Fisher information metric across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
New pruning method uses Fisher information distances for neural networks
研究人员为神经网络引入了一种新颖的参数剪枝技术，该技术基于模型空间内的微分几何距离。该方法使用 Fisher 信息度量定义的测地线距离，量化了参数归零的超曲面的最小距离。该方法产生了一个剪枝方法层级，从幅度剪枝开始，逐步发展到更高级、更有效的方案。该技术在全连接网络和视觉 Transformer 的各种数据集上进行了演示，在准确性和 Matthews 相关系数方面始终优于现有方法，为剪枝提供了数学上合理的解释。
-
FishBack 方法使用非欧几里得几何改进 Transformer 激活定向
研究人员开发了一种名为 FishBack 的新方法，以改进 Transformer 中的激活定向，这是一种无需更新参数即可修改语言模型行为的技术。现有方法由于激活空间是欧几里得空间的错误假设，通常不稳定，并且会干扰不相关的行为。FishBack 通过使用 softmax 层的 Fisher 信息度量，通过雅可比矩阵拉回，推导出最佳定向，从而纠正了这一点。该方法通过减少目标外失真，尤其是在几何校正影响最大的早期和中间层，在 GPT-2 …
-
新的降维方法利用信息几何学改进分类
研究人员推出了一种名为监督二次特征分析（SQFA）的新型降维方法，该方法利用信息几何学。该方法利用费舍尔信息度量和费舍尔-Rao距离来衡量类别差异性，将概率分布视为统计流形上的点。SQFA学习优化这些距离的线性特征，旨在提高分类准确性。一种变体SQFA-H，它最大化Hellinger距离，在真实世界数据集上表现出与现有最先进方法相当或更优的性能。
-
新的诊断工具可识别 LayerNorm Transformer 中的“死方向”
研究人员已识别出一种代数方法来检测 LayerNorm Transformer 中的“死方向”，这些方向是 Fisher 信息度量消失的参数空间方向。这项发表在 arXiv 上的新诊断技术仅使用 LayerNorm 尺度参数即可查明这些死方向，无需进行计算密集型的前向传播或特征值分解。该方法已在 14 个预训练 Transformer 上成功测试，准确预测了 LayerNorm 模型中的死方向，并正确识别了 RMSNorm 模型中死方…
-
新研究利用 Fisher 宽度和基准测试探索数据流形几何
两篇新研究论文探讨了机器学习中数据流形的几何结构。第一篇论文介绍了“Fisher 宽度”，这是一种新的几何度量，类似于高斯宽度，但使用 Fisher 信息度量适配了统计流形。该度量捕捉了各向异性几何效应，并用于证明 Fisher-Lipschitz 假设类的泛化界限。第二篇论文提出了一个用于研究数据几何的基准测试框架，使用重新利用的数据集和专门的估计器来分析曲率和范围等属性，旨在弥合深度学习理论与实践之间的差距。
-
Kerimov-Alekberli 模型将热力学与自主系统AI安全联系起来
研究人员提出了Kerimov-Alekberli模型，这是一个信息几何框架，旨在增强自主系统中的AI安全和伦理对齐。该模型在非平衡热力学和随机控制之间建立了正式联系，将系统异常定义为偏离黎曼流形。它采用Kullback-Leibler散度作为关键指标，并将Landauer原理作为其基础，证明了对抗性攻击可以通过增加信息熵来量化为物理功。在NSL-KDD数据集和UAV模拟上的验证显示了有效的实时检测能力。