AXis-factorized Operator Network

新型注意力机制适应信号结构以提高准确性

研究人员开发了自适应各向异性注意力（AAA）机制，这是一种专为脑电图（EEG）等结构化信号设计的新型注意力机制。与密集自注意力不同，AAA将注意力分解为时间和空间路径，允许token专注于相关的电极和时间轴交互。门控机制动态地组合这些路径，并且由此产生的模型AXON在EEG任务上表现出比标准密集注意力模型更高的准确性。这种方法表明，将注意力机制与信号的固有结构对齐可以提供有益的归纳偏置。