Fisher Information Matrix
PulseAugur coverage of Fisher Information Matrix — every cluster mentioning Fisher Information Matrix across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究量化了权重量化下的Fisher信息矩阵的谱扰动
研究人员开发了一种方法来研究模型参数量化时经验Fisher信息矩阵（FIM）的谱扰动。该研究提出使用FIM的主特征值作为已部署语言模型的运行时监控统计量。该统计量sigma_t可以指示与参考流形的偏差以及量化的影响，实验结果表明，与全精度估计相比，4位量化模型中的sigma_t显著增加。
-
新方法“退化蒸馏器”解决模型参数问题
研究人员推出了一种名为“退化蒸馏器”的新颖方法，旨在自动且符号化地检测和解决机器学习模型中的退化参数。该技术通过展平 Fisher 信息矩阵来识别对数据产生相似影响的参数组合，从而提高神经网络后验估计等下游任务的效率。该方法所需的模拟次数显著减少，最多可达十分之一，同时还能提供对底层系统更深入的物理洞察。
-
新理论将深度学习的平坦性植根于黎曼几何
研究人员开发了一个新的理论框架，通过将平坦性的概念植根于黎曼几何来理解深度学习模型的泛化能力。该方法利用 Fisher 信息矩阵 (FIM) 来定义一个重参数化不变的锐度度量，解决了传统欧几里得度量的局限性。在 MNIST 和 CIFAR-10 数据集上的实验表明，这种新的黎曼锐度度量能够准确地跟踪泛化性能，并与关于 SGD 对更平坦极值偏置的理论预测一致。
-
新的p-PSO技术增强了复杂统计模型的最优设计
研究人员开发了一种名为p-PSO的新优化技术，旨在解决在广义线性模型（GLMs）中寻找D最优设计的复杂性问题。该方法在处理混合因子（离散和连续）以及未知Fisher信息矩阵的挑战时特别有用。p-PSO方法引入了一种通用的惩罚公式，可以与各种优化算法集成，为这些复杂的统计问题提供了更强大、更有效的解决方案。
-
新的几何框架预测微调过程中 AI 对齐的崩溃
研究人员开发了一个新的几何框架，用于理解微调过程中语言模型对齐的脆弱性。他们的分析表明，即使是看似良性的任务也会系统性地破坏安全护栏，他们将这种现象称为“对齐崩溃”。该框架识别出特定的几何属性，并将其形式化为对齐不稳定性条件 (AIC)，这些属性足以保证安全功能的退化。这项工作为预测和防止此类对齐退化提供了理论基础，表明即使初始更新看起来是安全的，对齐也可能迅速退化。
-
新框架使用费舍尔信息分析AI医学图像分类器敏感性
研究人员引入了一个新的框架，使用输入相关费舍尔信息矩阵（iFIM）来分析医学图像分类器的局部敏感性。该方法描述了分类器的预测如何随着输入的微小扰动而变化。通过采用Gram矩阵的表述方式，该框架避免了计算完整的费舍尔矩阵，而是专注于主要的iFIM特征空间，以识别高敏感性分量。这些分量提供了局部预测敏感性的内在描述，是对现有基于归因的可解释性工具的补充。
-
PhysGuard框架改进神经算子从仿真到现实的适配
研究人员开发了PhysGuard，一个旨在改进神经算子从仿真到现实适配的新框架。该方法利用仿真数据中的Fisher信息矩阵，在微调过程中识别并保护物理关键参数方向。PhysGuard旨在防止在标准微调过程中可能发生的、尤其是在显著的领域偏移下，基本物理表示的退化。实验表明，与传统的微调方法相比，PhysGuard可将低频误差最多降低32%，同时保持了适应性。
-
新的ECA方法通过持续对齐改进图像到文本生成
研究人员开发了高效持续对齐（ECA），一种用于开放式图像到文本生成的新方法，它解决了在无法访问过去数据的情况下使模型适应不断变化的数据分布的挑战。ECA利用查询模块混合（Mixture of Query module）、基于Fisher信息矩阵的Fisher动态扩展（Fisher Dynamic Expansion）和字典重放（Dictionary Replay）来保留知识并适应新的视觉数据。该方法旨在防止灾难性遗忘，并提高在主要图像…
-
无人机采用新的轨迹优化技术以改进目标定位
研究人员开发了一种新的轨迹优化方法，用于无人机（UAV）在仅方位目标定位任务中。该方法利用费舍尔信息矩阵（FIM）根据几何配置和机动性动态调整无人机的路径。对于双无人机系统，增加了一个项来优化三角测量几何形状，以防止轨迹聚集。该方法显著减少了定位误差，与现有的基于FIM的技术相比，单无人机场景的定位误差减少了99.21%，双无人机配置的定位误差减少了69.70%。
-
新指标使用 Fisher 信息衡量 AI 模型鲁棒性
研究人员开发了一种新方法，使用 Fisher 信息矩阵 (FIM) 的谱范数来衡量深度神经网络的鲁棒性。这种与攻击无关的指标量化了模型输出分布对输入变化的敏感程度。该研究为 ResNet 和 Transformers 等常见架构提供了理论界限，为评估模型鲁棒性和指导更具韧性的 AI 系统设计提供了新方法。
-
新的费舍尔信息指标评估深度神经网络鲁棒性
研究人员引入了一种新的指标来评估深度神经网络的鲁棒性，该指标基于费舍尔信息矩阵的谱范数。这种不依赖于攻击的方法为评估模型对输入扰动的敏感性提供了理论界限和实用算法。在各种数据集和架构上的实验表明，该指标与对抗性脆弱性之间存在很强的相关性，使其成为设计更鲁棒模型的宝贵诊断工具。
-
新的Fisher Decorator方法使用局部传输图优化离线RL策略
研究人员开发了一种名为Fisher Decorator的新方法，用于改进基于流的离线强化学习。该方法通过使用局部传输图来优化策略，超越了各向同性正则化，从而解决了现有方法的局限性。新框架利用Fisher信息矩阵进行各向异性优化，在各种离线RL基准测试中取得了最先进的性能。
-
贝叶斯最优设计框架增强材料本构定律学习
研究人员开发了一个贝叶斯最优实验设计框架，以改进依赖历史的本构模型的学习，这对于理解材料行为至关重要。这种新方法旨在通过减少参数不确定性来最大化实验数据的效用，从而获得更可靠的参数估计。该框架包含了高斯期望信息增益和费舍尔信息矩阵代理的近似，使其适用于复杂的材料测试场景。数值研究表明，与随机设计相比，优化后的实验设计显著提高了参数的可辨识度，尤其是在与粘弹性固体记忆效应相关的参数方面。