prefill-decode

FluidPD 系统通过原地弹性增强 LLM 服务

研究人员开发了 FluidPD，一个旨在提高大型语言模型 (LLM) 服务效率和可靠性的新系统。FluidPD 通过引入原地弹性来应对 LLM 推理的预填充和解码阶段之间不断变化的需求的挑战。该系统使用 FluidToken 和 FluidRole 等机制，无需额外硬件即可动态调整资源和工作角色，从而在满足延迟服务水平目标 (SLO) 方面取得显著改进。