Penghao Wang

新框架实现从Transformer到Mamba模型的知识高效迁移

研究人员开发了一个名为“跨架构注意力桥接蒸馏”（CAB）的新蒸馏框架，以有效地将知识从Transformer模型迁移到Mamba等状态空间模型（SSMs）。该方法通过对齐Transformer的注意力相关表示与Mamba的状态投影，实现token级别的中间监督，从而在不增加推理时间的情况下促进跨架构知识迁移。实验表明，CAB提高了蒸馏效果，尤其是在低数据场景下，弥合了成熟的Transformer生态系统与新兴的SSM生态系统之间的差距。