Lee Thorpe

FourierQK 方法通过光谱预处理提升 Transformer 注意力

研究人员开发了一种名为 FourierQK 的新颖方法，通过对查询-键投影应用光谱预处理，显著增强了 Transformer 注意力机制。该技术在 TinyShakespeare 等字符级语言建模任务上尤其有效，它利用学习到的频率来实现显著的性能提升。与以往完全替换注意力的方法不同，FourierQK 在引入频域混合的同时保留了注意力分数结构，从而显著减少了错误并提高了准确性。