dot-product fusion

DeepONets：注意力机制对求解PDE的准确性至关重要

研究人员对深度算子网络（DeepONets）进行了一项受控研究，以了解各种注意力机制对其性能的影响。该研究系统地评估了五种具有不同注意力配置的DeepONet变体，包括交叉注意力、自注意力以及分词（tokenization），分别在数据驱动和物理信息训练场景下进行。结果表明，结合了交叉注意力的每传感器分词显著降低了多个基准问题的误差率，其中查询依赖的交叉注意力被证明是最可靠的机制。