PulseAugur
中
实时 15:33:44
实体 Gauss-Newton matrix

Gauss-Newton matrix

PulseAugur coverage of Gauss-Newton matrix — every cluster mentioning Gauss-Newton matrix across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. RESEARCH · CL_361622 ·

    新的优化技术增强了物理信息神经网络

    研究人员开发了一种优化物理信息神经网络(PINNs)的新方法,该方法侧重于Hessian矩阵的一个小的、最优子空间。这种方法被称为主导对齐子空间(DAS),它根据梯度对齐而不是仅仅曲率大小来选择方向。在对各种微分方程进行测试时,DAS受限训练的性能与全空间训练相当,这表明收敛不需要所有的Hessian特征向量。此外,还为有限基PINNs引入了一种块稀疏高斯-牛顿优化技术,利用重叠域分解引起的块稀疏性来降低计算成本和内存需求。

  2. TOOL · CL_286978 ·

    深度学习Hessian谱由隐藏对称性解释

    一篇新发表在arXiv上的论文探讨了深度学习模型中Hessian矩阵的谱特性。研究人员观察到,训练模型中的特征值倾向于聚集,一大群接近零,少数是离群值。该研究提出,这些模式源于一种隐藏的、高度对称的参考配置。模型架构、数据或参数度量的修改会打破这种对称性,从而导致观察到的特征值分布。