研究人员在训练物理信息神经网络(PINNs)时发现了一个名为梯度更新不匹配(GUM)的问题。当优化器在梯度手术方法试图解决冲突梯度后,仍然在更新方向上引入新的冲突时,就会发生GUM。这种差异可能导致重大错误,在各种优化器中冲突率高达86.3%。为了解决这个问题,研究人员提出了梯度更新对齐(GUA)方法,该方法将优化器的提议更新投影到无冲突锥上,在测试的PINN设置中持续提高性能并减少高达98.2%的错误。 AI
影响 引入了一种提高物理信息神经网络训练稳定性和准确性的方法,有可能在科学领域实现更可靠的模拟和预测。
排序理由 研究论文,详细介绍了一种新颖的神经网络训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Gradient Surgery for Multi-Task Learning
- Gradient-Update Alignment
- Gradient-Update Mismatch
- machine learning
- Optimizer
- physics-informed neural networks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →