Lei Gao

DuetServe 框架通过自适应 GPU 多路复用优化 LLM 服务

研究人员开发了 DuetServe，一个旨在优化大型语言模型 (LLM) 服务的新框架。该系统通过智能管理 LLM 推理的独立 prefill 和 decode 阶段，解决了高吞吐量与低延迟之间的平衡挑战。DuetServe 在 SM (Streaming Multiprocessor) 层面动态划分 GPU 资源，仅在必要时提供隔离，防止两个阶段之间的干扰，并避免了复制模型的低效率。