Bo-Kyeong Kim

Qwen3.5-4B推理通过量化和投机解码加速

研究人员为Qwen3.5-4B语言模型开发了一个高效的推理系统，在NVIDIA A10G GPU上实现了6.978倍的加速。他们的方法结合了量化目标模型和投机解码，并采用感知量化蒸馏来保持准确性。一个针对量化目标优化的专用草稿器模型经过两阶段训练以加速解码。该方法还结合了量化和滑动窗口注意力来降低开销并改善长上下文延迟，最终在Efficient Qwen竞赛中排名第三。