研究人员开发了一种名为 ACQB（anytime CQB）的新算法，以改进大型语言模型（LLM）的查询路由和调度。该算法利用用户重试行为的隐式反馈，而非显式评分，来学习用户偏好并优化 LLM 分配。ACQB 旨在保持队列稳定性并减少对话式 LLM 服务中的累积遗憾，在合成数据、离线数据集和真实用户日志的实验中显示出有希望的结果。 AI
影响 这项研究通过优化查询处理和减少用户等待时间，有望实现更高效、更稳定的 LLM 服务。
排序理由 该集群包含一篇详细介绍 LLM 路由和调度新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
