SSM-Transformer

Zyphra 发布 Zamba2-VL 混合视觉语言模型

Zyphra 推出了 Zamba2-VL，一个新推出的开源视觉语言模型家族。这些模型采用了结合 Mamba2 状态空间模型和 Transformer 的混合架构，与传统的 Transformer 模型相比，处理速度显著提高。Zamba2-VL 提供 1.2B、2.7B 和 7B 参数规模的版本，基准测试表明其在提高速度的同时也具有高准确性。