WY factorization

新的半直接傅里叶 Delta 注意力增强了 LLM 的长上下文记忆

研究人员推出了一种新颖的方法——半直接傅里叶 Delta 注意力（SFDA），以增强语言模型中的长上下文记忆。SFDA 通过用块旋转傅里叶控制替代实际衰减来泛化 Kimi Delta Attention，从而实现更精确的状态跟踪。该方法结合了建设性块-WY 分解以实现高效的内存管理，并提供了正式的稳定性和复杂度界限。虽然数值验证和玩具实验在学习循环记忆方面显示出希望，但大规模语言模型比较和融合内核实现仍有待未来的工作。