研究人员开发了一种新颖的在线线性规划框架，用于优化大型语言模型（LLM）服务系统中的请求路由。该方法将路由构建为多目标优化问题，允许根据服务水平目标（SLOs）显式控制延迟-吞吐量权衡。一种源自在线线性规划的高效出价控制策略，当请求的收益超过其影子价格时接纳请求。该系统在端到端延迟、首个令牌时间（time-to-first-token）和整体吞吐量等指标上显示出比标准启发式方法显著的改进。 AI
影响 这项研究为LLM服务优化提供了一种基于科学的方法，有望提高效率和性能。
排序理由 该集群包含一篇详细介绍LLM服务新方法的 ist 研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
