DeepSeek-VL2-Tiny

SpecPrefetch框架改进了内存受限设备上MoE模型的推理性能

研究人员开发了SpecPrefetch，一个参数高效的框架，旨在提高稀疏专家混合（MoE）基础模型的推理速度。该方法通过在最终路由决策做出之前预测并异步传输必要的专家，从而解决了专家卸载造成的瓶颈。SpecPrefetch在不改变模型预训练路由的情况下，实现了更好的专家召回率并降低了延迟，证明了在Snapdragon 8 Elite等内存受限设备上部署MoE模型的实际优势。