SSDi8

SSDi8框架通过8位量化增强Mamba-2架构

研究人员开发了SSDi8，一种专门针对Mamba-2架构的结构化状态空间对偶（SSD）的新型8位量化框架。该方法旨在减少Mamba-2集成循环和注意力模式所带来的内存和延迟开销。SSDi8通过重新构建计算以重用量化激活并自适应地量化通道变化的激活来实现这一点。实验表明，在W4A8和W8A8设置下，SSDi8在保持与FP16相当的准确性的同时，速度提升高达1.4倍，并且已成功部署在Orin NX等资源受限的设备上。