新算法利用用户重试来优化 LLM 路由和调度

研究人员开发了一种名为 ACQB（anytime CQB）的新算法，以改进大型语言模型（LLM）的查询路由和调度。该算法利用用户重试行为的隐式反馈，而非显式评分，来学习用户偏好并优化 LLM 分配。ACQB 旨在保持队列稳定性并减少对话式 LLM 服务中的累积遗憾，在合成数据、离线数据集和真实用户日志的实验中显示出有希望的结果。 AI

影响 这项研究通过优化查询处理和减少用户等待时间，有望实现更高效、更稳定的 LLM 服务。

排序理由 该集群包含一篇详细介绍 LLM 路由和调度新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• ACQB
• CQB-MNL
• EmbedLLM
• LLMs
• RouterBench
• Seoungbin Bae
• SPROUT
• WildChat-1M

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →