Mamba 是一种新的状态空间模型 (SSM)，为人工智能领域占主导地位的 Transformer 架构提供了一种替代方案。它旨在匹配 Transformer 的性能和扩展定律，同时高效处理极长的序列，可能长达一百万个 token。这是通过消除 Transformer 注意力机制中的二次方瓶颈来实现的，从而实现更快的推理速度和与序列长度的线性扩展。Mamba 在语言、音频和基因组学等各种模态中都取得了最先进的结果，其性能优于同等甚至更大尺寸的 Transformer。 AI
排序理由 这是一篇描述新模型架构 Mamba 的研究论文，Mamba 被认为是 Transformer 的一种替代方案。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
