新的LLM代理调度器使用对话而非轮次来提高效率

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-02 04:00

研究人员开发了一种名为ConServe的新调度系统，用于基于LLM的代理，该系统通过将整个对话作为调度单元而非单个轮次来提高效率。这种方法允许系统观察而非预测对话的计算需求。ConServe将初始计算路由到一个高吞吐量的预填充器，然后将单个解码器用于对话的其余部分，从而降低了延迟和能耗。 AI

影响这种新的LLM代理调度方法可以显著降低对话式AI系统的延迟并提高能效。

排序理由该集群包含一篇详细介绍LLM代理服务新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Jianru Ding, Ryien Hosseini, Pouya Mahdi Gholami, Mingyuan Xiang, Henry Hoffmann · 2026-06-02 04:00

Observation, Not Prediction: Conversation-Level Disaggregated Scheduling for Agentic Serving

arXiv:2606.01839v1 Announce Type: cross Abstract: LLM-based agents resolve a user task through many turns of dependent inference and tool calls, producing a workload whose total cost is unknown when the task arrives. Existing multi-turn systems keep the turn as the scheduling uni…