Wang Wenfeng

Specter 系统通过量化和推测卸载加速 MoE 推理

研究人员开发了 Specter，一个旨在加速专家混合（MoE）模型的新型推理系统，这些模型通常会超出单个加速器的内存容量。Specter 结合了量化、推测解码和专家卸载，以克服数据依赖路由引起的 PCIe I/O 瓶颈。通过使用轻量级的量化草稿模型来预测未来的专家需求，Specter 能够主动组织专家的移动和执行，从而提高通信效率。这种方法平均将每个输出令牌的时间速度提高了 1.50 倍，使得在单 GPU 系统上进行 MoE 推理更加可行。