InfoMamba

InfoMamba：无注意力混合模型性能超越Transformers和SSMs

一篇研究论文介绍了一种名为InfoMamba的无注意力混合架构，旨在平衡序列处理中的局部和长程依赖建模。该模型集成了选择性状态空间模型（SSM）流和用于全局上下文的概念瓶颈线性滤波层。InfoMamba旨在克服Transformers的二次复杂度以及传统SSMs在捕捉全局交互方面的局限性。实验表明，InfoMamba在多项任务上的表现优于现有的Transformer和SSM基线模型，同时保持近乎线性的扩展性。