Local Linear Transformer

新的局部线性Transformer架构改进了偏微分方程学习

研究人员开发了一种名为局部线性Transformer（LLT）的新型神经算子架构，旨在改进偏微分方程（PDE）的学习。LLT通过结合线性全局注意力与局部空间混合并纳入坐标和几何信息，解决了标准Transformer的局限性。在各种偏微分方程问题和离散化中，这种方法显示出与现有方法相比具有竞争力或更低的误差率，同时还提供了显著的训练时间加速。