Vamshi Sunku Mohan

研究人员精确定位 Mamba 模型瓶颈，提升性能

研究人员已识别并利用 Mamba 系列状态空间模型（SSMs）中的激活子空间瓶颈来提高其性能。通过在测试期间对这些瓶颈激活应用简单的标量乘法，他们在多个 SSM 和基准测试中实现了平均 8.27% 的性能提升，且无需进行特定任务的调优。通过重新训练一个修改后的架构（称为 Stable-Mamba）进行的进一步验证，证明了在长上下文性能方面取得了显著的提升，证实了所识别的瓶颈会阻碍性能。