研究人员开发了 MultiTurnRoute，一个用于构建和评估多轮 LLM 路由器的平台。该平台包含一个名为 Chain-of-Route (CoR) 的路由算法，该算法利用对话历史来预测响应质量并根据可重用的模型前缀估算成本。在使用 WildChat 和 LMSYS-Chat-1M 的基准进行评估时，与现有路由方法相比，CoR 在保持响应质量或提高响应质量的同时，将归一化成本降低了高达 20.3%。 AI
影响 通过降低成本和提高响应质量来优化对话式 AI 中的 LLM 使用。
排序理由 该集群描述了一篇关于 LLM 路由平台和算法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.MA (Multiagent) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
