研究人员开发了SeqRoute，一个用于大语言模型（LLM）系统中多轮对话查询路由的新型框架。与以往将每个查询独立处理的方法不同，SeqRoute考虑了用户会话的序贯性以及全局计算预算。它采用离线强化学习来做出路由决策，从而为后续可能更关键的交互策略性地节省资源，以此降低成本并防止预算耗尽。 AI
影响 优化多轮交互中LLM的运营成本和用户体验。
排序理由 学术论文，介绍了一种新的LLM路由方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2605.25424v1 Announce Type: cross Abstract: Existing LLM routing frameworks treat queries as independent events, neglecting the sequential nature of real-world user sessions constrained by global computational budgets. This mismatch inevitably leads to budget bankruptcy: my…