实体
FourierQK
FourierQK
PulseAugur coverage of FourierQK — every cluster mentioning FourierQK across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的FourierQK注意力机制增强了Transformer模型
研究人员开发了FourierQK，一种用于生成式预训练Transformer的新型注意力机制，它利用带通滤波的内积。在TinyShakespeare上的字符级语言建模实验表明，直流和奈奎斯特分量是有害的，而围绕段落长度（70个token）的优化单尺度带宽会带来显著的收益。研究还发现，像墨西哥帽这样的可容许滤波器优于不可容许的滤波器，并且频谱覆盖直接影响泄漏，这表明FourierQK在BERT等双向注意力设置中是有效的。
-
FourierQK 技术通过频谱预处理提升 Transformer 注意力 · 已追踪 2 个来源
研究人员开发了一种名为 FourierQK 的新技术，通过对查询-键投影应用频谱预处理，显著增强了 Transformer 注意力机制。该方法在 TinyShakespeare 等字符级语言建模任务上进行了测试，与标准的点积注意力相比，错误率降低了高达 79%，取得了显著的性能提升。其优势归因于全局频域混合而非度量失真，并且该方法在架构上与 FNet 等先前方法不同。