PulseAugur
中
实时 08:36:46
English(EN) Scalable Joint Resource Allocation for SLO-Constrained LLM Inference in Heterogeneous GPU Clouds

新框架优化GPU云中的LLM推理资源分配

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新框架，用于在云环境中高效管理大型语言模型（LLM）推理的资源分配。该系统解决了在遵守延迟和预算等服务水平目标（SLO）的同时，优化模型选择、GPU配置和工作负载路由的复杂性。引入了两种启发式算法：贪婪启发式（GH）和自适应贪婪启发式（AGH），以提供可扩展且接近最优的解决方案，在大规模问题上优于精确方法。 AI

影响 这项研究为在云环境中部署LLM提供了一种更具成本效益和鲁棒性的方法，有望降低运营成本并提高服务可靠性。

排序理由 这是一篇研究论文，详细介绍了一种用于LLM推理资源分配的新框架和启发式算法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Jiaming Cheng, Duong Tung Nguyen ·

    面向异构GPU云中受 SLO 约束的 LLM 推理的可扩展联合资源分配

    arXiv:2604.07472v2 Announce Type: replace Abstract: Serving large language model (LLM) inference in cloud environments requires jointly optimizing model selection, GPU provisioning, parallelism configuration, and workload routing under latency, accuracy, memory, and budget constr…

相关实体

相关话题