研究人员开发了OrcaRouter，一个旨在智能地将传入请求路由到最合适的大型语言模型的系统。该路由器采用混合离线-在线学习方法，利用具有词汇和句子嵌入特征的上下文老虎机。在离线测试中，OrcaRouter达到了很高的准确率，并在RouterArena排行榜上名列第二，证明了其在生产环境中的效率和成本效益。 AI
影响 通过动态选择每个查询的最佳模型来优化LLM部署，有可能降低成本并提高性能。
排序理由 该集群描述了一篇详细介绍LLM路由新系统的研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.30736v1 Announce Type: cross Abstract: The rapid development of large language models, each with distinct capabilities and inference costs, raises a practical deployment question: given an incoming request, which model should handle it? We present OrcaRouter, a product…
The rapid development of large language models, each with distinct capabilities and inference costs, raises a practical deployment question: given an incoming request, which model should handle it? We present OrcaRouter, a production-oriented LLM router that combines a LinUCB-bas…