state space duality

DART架构通过融合Transformer和SSM来增强长上下文序列建模

研究人员推出了一种新颖的架构DART（Decoded Attention over Recurrent States），它结合了Transformer和状态空间模型（SSMs）的优势，用于高效的长上下文序列建模。DART基于Mamba-2，通过从SSM的压缩状态解码token条件化的键和值来实现状态-记忆注意力（SMA）。与传统的注意力机制相比，这种方法显著降低了推理缓存需求，并在保持语言建模质量的同时增强了联想回忆和检索能力。