EAServe 采用新的编码感知架构优化多模态大语言模型服务

研究人员开发了 EAServe，一个旨在优化多模态大语言模型 (MLLM) 服务的新系统。与现有框架在 MLLM 的三阶段编码-预填充-解码 (EPD) 管道中遇到的困难不同，EAServe 将编码阶段重新定位为管道的控制点。这种方法允许自适应微批处理、动态 GPU 分区以及对共驻预填充工作程序的速率控制卸载。评估表明，EAServe 在吞吐量和 GPU 利用率方面显著优于 NVIDIA Dynamo 和 vLLM。 AI

影响 优化多模态大语言模型服务的效率，可能提高复杂人工智能应用的推理速度和资源利用率。

排序理由 该项目是一篇研究论文，详细介绍了一个用于优化多模态大语言模型服务的新系统。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• Bayesian optimization
• CatalyzeX
• DagsHub
• Encode-Prefill-Decode
• Gotit.pub
• Hugging Face
• Hybrid Auto Selection
• multimodal Large Language Models
• NVIDIA Dynamo
• ScienceCast
• TPE
• vLLM

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →