研究人员开发了COMPASS,一种新颖的代理LLM路由器,旨在优化模型选择以降低成本和提高准确性。与需要频繁更新的专用路由器不同,COMPASS使用LLM遵循路由配方,通过工具收集性能数据,甚至在选择模型之前检查候选答案。在LLMRouterBench和DeepSWE基准上的评估表明,与现有的路由方法相比,COMPASS以更低的成本实现了更高的准确性,并且无需重新训练即可适应新模型。 AI
影响 这种代理路由方法可以通过优化模型选择,显著降低LLM部署的运营成本。
排序理由 该集群包含一篇详细介绍LLM路由新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- LLM
- LLMRouterBench
- RLCascadeRouter
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →