Bi-Mamba

Ternary Mamba通过知识蒸馏和QAT实现3.61倍压缩

研究人员开发了一种压缩状态空间模型（SSMs）如Mamba-2的新方法，显著减小了其在边缘部署时的内存占用。通过采用分组量化感知训练（QAT）并结合来自预训练FP16模型的知识蒸馏，他们将Mamba-2 1.3B压缩至744 MB，减少了3.61倍。该方法在比以往方法更小的token预算下实现了具有竞争力的零样本准确率，同时还识别出一种新颖的、仅存在于预训练SSM的QAT中的不稳定性，称为“零比率崩溃”。