Variational-Ising-Attention (VIA)

新的注意力机制VIA增强了AI在科学任务中的应用

研究人员推出了一种名为变分伊辛注意力（VIA）的新型注意力机制，专为科学任务设计。与标准的softmax注意力不同，VIA整合了一个相互作用的伊辛模型，以捕捉实体之间的结构化耦合，这对于科学问题至关重要。在逆合成反应中心预测上的实验表明，VIA通过变分平均场推断从成对耦合中学习注意力模式，显著优于传统的注意力方法。这种方法表明，与通用效率相比，与领域特定结构对齐的定制化注意力对于科学应用更有效。