Falcon-Mamba-7B

新框架揭示 Mamba 模型中首个 token 的“吸引力”

研究人员开发了一个新的分析框架，以理解深度 Mamba 模型的动力学，重点关注首个 token 的影响作用。与注意力机制不同，Mamba 模型使用矩阵值交互系数，使其分析更加复杂。新框架利用高维不变盒和退出时间论证，揭示首个 token 的极限方向吸引后续 token，导致 token 聚类和注意力汇聚等现象。实验在 Falcon-Mamba-7B 模型上得到验证，观察到这种吸引机制随着模型深度的增加而增强，并在后期层中占据主导地位。