Mesh-aware transformers

新的卷积方法改进了用于在表面上求解PDE的神经网络

研究人员识别并解决了用于在表面上求解偏微分方程的神经网络模型中的平滑性误差。传统的图神经网络可能存在过平滑问题，即节点特征变得过于相似，从而阻碍了扩散过程等任务的性能。虽然曾提出过酉图卷积来缓解此问题，但对于会随时间自然平滑的系统，它们可能过于严格。本文介绍了松弛酉卷积，它在保持平滑性与物理系统所需的自然平滑性之间取得了平衡，并将这些概念扩展到了网格上。实验表明，该新方法在求解热方程、波动方程和天气预报等任务上优于现有基线。