English(EN) Online Linear Programming for Multi-Objective Routing in LLM Serving

新的LLM路由框架使用在线线性规划优化性能 · 跟踪2个来源

作者 PulseAugur 编辑部 · [2 个来源] · 2026-07-07 04:00

已开发出一种新的在线线性规划框架，用于优化大型语言模型（LLM）服务的路由。该方法采用多目标优化策略来平衡延迟、吞吐量和其他服务级别目标（SLO），其性能优于基于启发式的方法。该系统专为毫秒级决策而设计，并在集成到模拟器后在各种性能指标上显示出显著的改进。 AI

影响这项研究通过优化请求路由，可能导致更高效、更具成本效益的LLM部署。

排序理由该集群关注一篇详细介绍LLM服务优化新方法的学术论文。

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.AI TIER_1 English(EN) · Zixi Chen, Yinyu Ye, Zijie Zhou · 2026-07-07 04:00

LLM服务中的多目标路由在线线性规划

arXiv:2607.03948v1 Announce Type: new Abstract: We study the online routing problem in large language model serving, where requests arrive sequentially and must be dispatched to parallel decode workers under tight batch-size and KV-cache constraints. Unlike widely used routing he…
dev.to — LLM tag TIER_1 English(EN) · Emre Yilmaz · 2026-07-09 09:32

8 LLM Routing Strategies Compared

<p><a class="article-body-image-wrapper" href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fk6s5fgptljn82jzdyrz8.png"><img alt="8 LLM Routing St…