Spectral-Aware Transformer

SpecFormer 解决了推荐系统中嵌入和注意力崩溃的问题

研究人员开发了SpecFormer，一种新颖的频谱感知Transformer，旨在解决推荐系统中的嵌入和注意力崩溃问题。该架构引入了可学习频谱软化模块、频谱软化注意力机制和频谱残差位置编码，以管理令牌嵌入和特征交互的频谱分布。实验表明，SpecFormer的性能显著优于现有基线，并已成功部署在商业推荐系统中，证明了随着深度的增加，性能和可扩展性得到了提高。