Gradient-Update Mismatch

新的GUM方法解决了物理信息神经网络中的冲突梯度问题

研究人员在训练物理信息神经网络（PINNs）时发现了一个名为梯度更新不匹配（GUM）的问题。当优化器在梯度手术方法试图解决冲突梯度后，仍然在更新方向上引入新的冲突时，就会发生GUM。这种差异可能导致重大错误，在各种优化器中冲突率高达86.3%。为了解决这个问题，研究人员提出了梯度更新对齐（GUA）方法，该方法将优化器的提议更新投影到无冲突锥上，在测试的PINN设置中持续提高性能并减少高达98.2%的错误。