一个名为TIDEWAY的新系统已被开发出来,可在内存有限的消费级设备上高效推理大型混合专家(MoE)模型。TIDEWAY将主机RAM和GPU VRAM管理为一个统一的内存池,适应预填充和解码阶段的不同访问模式。评估表明,TIDEWAY的性能显著优于现有系统,在延迟和吞吐量方面提供了实质性的加速。 AI
影响 TIDEWAY在内存管理方面的进步可能为在消费级硬件上本地运行更复杂的AI模型铺平道路。
排序理由 该项目是一篇研究论文,详细介绍了一个用于优化AI模型推理的新系统。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →