研究人员开发了一种名为Token-Group量化的新型训练后量化(PTQ)框架,用于基于Mamba的超分辨率模型。该方法解决了Mamba模型中跨空间Token的激活范围变化所带来的挑战,而这种变化会使低比特量化变得复杂。该框架通过使用轻量级预测器从预扫描特征推断分组,来近似一个硬件不友好的分组预言机,将具有相似裁剪范围的Token分配到同一组。此外,还引入了一个保频细化目标,以在校准过程中保持高频结构,从而在NVIDIA Jetson Orin Nano上实现了比FP16更好的性能和2.23倍的速度提升。 AI
影响 这项研究可能导致在边缘设备上更有效地部署基于Mamba的模型,提高性能并降低计算成本。
排序理由 该集群包含一篇详细介绍Mamba模型优化新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Frequency-Preserving Refinement
- Hugging Face
- Mamba
- NVIDIA Jetson Orin Nano 8GB
- Token-Group Quantization
- transformer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →