新的半直接傅里叶 Delta 注意力增强了 LLM 的长上下文记忆

研究人员推出了一种新颖的方法——半直接傅里叶 Delta 注意力（SFDA），以增强语言模型中的长上下文记忆。SFDA 通过用块旋转傅里叶控制替代实际衰减来泛化 Kimi Delta Attention，从而实现更精确的状态跟踪。该方法结合了建设性块-WY 分解以实现高效的内存管理，并提供了正式的稳定性和复杂度界限。虽然数值验证和玩具实验在学习循环记忆方面显示出希望，但大规模语言模型比较和融合内核实现仍有待未来的工作。 AI

影响 引入了一种新颖的注意力机制，可能在未来的语言模型中改善长上下文处理。

排序理由 该集群包含一篇详细介绍机器学习中注意力机制新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Fourier
• Hugging Face
• Kimi Delta Attention
• Semidirect Fourier Delta Attention
• WY factorization

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →