一篇新发表在arXiv上的论文分析了六种商用动态LLM路由器的性能,发现没有一种路由器的表现优于在匹配成本下,在两个精心选择的模型之间进行随机选择。该研究确定了四个常见问题:难度盲视、长度反转、语义匹配和名单次优。研究人员提出了一种替代的评估方法和一个避免这些陷阱的双模型路由器,尽管其相比随机路由的收益有限。 AI
影响 强调了当前LLM路由策略的潜在低效率,表明需要改进评估和设计。
排序理由 分析LLM路由器性能的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →