Encode-Prefill-Decode

EAServe 采用新的编码感知架构优化多模态大语言模型服务

研究人员开发了 EAServe，一个旨在优化多模态大语言模型 (MLLM) 服务的新系统。与现有框架在 MLLM 的三阶段编码-预填充-解码 (EPD) 管道中遇到的困难不同，EAServe 将编码阶段重新定位为管道的控制点。这种方法允许自适应微批处理、动态 GPU 分区以及对共驻预填充工作程序的速率控制卸载。评估表明，EAServe 在吞吐量和 GPU 利用率方面显著优于 NVIDIA Dynamo 和 vLLM。