Fisher information metric
PulseAugur coverage of Fisher information metric — every cluster mentioning Fisher information metric across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的降维方法利用信息几何学改进分类
研究人员推出了一种名为监督二次特征分析（SQFA）的新型降维方法，该方法利用信息几何学。该方法利用费舍尔信息度量和费舍尔-Rao距离来衡量类别差异性，将概率分布视为统计流形上的点。SQFA学习优化这些距离的线性特征，旨在提高分类准确性。一种变体SQFA-H，它最大化Hellinger距离，在真实世界数据集上表现出与现有最先进方法相当或更优的性能。
-
新的诊断工具可识别 LayerNorm Transformer 中的“死方向”
研究人员已识别出一种代数方法来检测 LayerNorm Transformer 中的“死方向”，这些方向是 Fisher 信息度量消失的参数空间方向。这项发表在 arXiv 上的新诊断技术仅使用 LayerNorm 尺度参数即可查明这些死方向，无需进行计算密集型的前向传播或特征值分解。该方法已在 14 个预训练 Transformer 上成功测试，准确预测了 LayerNorm 模型中的死方向，并正确识别了 RMSNorm 模型中死方…
-
新研究利用 Fisher 宽度和基准测试探索数据流形几何
两篇新研究论文探讨了机器学习中数据流形的几何结构。第一篇论文介绍了“Fisher 宽度”，这是一种新的几何度量，类似于高斯宽度，但使用 Fisher 信息度量适配了统计流形。该度量捕捉了各向异性几何效应，并用于证明 Fisher-Lipschitz 假设类的泛化界限。第二篇论文提出了一个用于研究数据几何的基准测试框架，使用重新利用的数据集和专门的估计器来分析曲率和范围等属性，旨在弥合深度学习理论与实践之间的差距。
-
Kerimov-Alekberli 模型将热力学与自主系统AI安全联系起来
研究人员提出了Kerimov-Alekberli模型，这是一个信息几何框架，旨在增强自主系统中的AI安全和伦理对齐。该模型在非平衡热力学和随机控制之间建立了正式联系，将系统异常定义为偏离黎曼流形。它采用Kullback-Leibler散度作为关键指标，并将Landauer原理作为其基础，证明了对抗性攻击可以通过增加信息熵来量化为物理功。在NSL-KDD数据集和UAV模拟上的验证显示了有效的实时检测能力。