arXiv 2609.24797

复杂的KDA实现了线性注意力中的旋转，以进行高级状态跟踪

研究人员详细介绍了一种名为复杂KDA（CKDA）的新型线性注意力机制，该机制允许在内存更新中进行旋转，从而实现比以往线性模型更复杂的国家跟踪。该机制建立在Moonshot AI的Kimi Linear架构之上，使用带符号门和特定的更新参数来实现这些旋转，这对于计数和跟踪状态至关重要。这项发表在arXiv上的突破表明，CKDA可以表示复杂的有限群，显著增强了线性注意力模型的表达能力。