Ratibida columnifera

FourierQK 技术通过频谱预处理提升 Transformer 注意力 · 已追踪 2 个来源

研究人员开发了一种名为 FourierQK 的新技术，通过对查询-键投影应用频谱预处理，显著增强了 Transformer 注意力机制。该方法在 TinyShakespeare 等字符级语言建模任务上进行了测试，与标准的点积注意力相比，错误率降低了高达 79%，取得了显著的性能提升。其优势归因于全局频域混合而非度量失真，并且该方法在架构上与 FNet 等先前方法不同。