一篇新的研究论文探讨了在将查询路由到不同大型语言模型（LLMs）时，性能预测的有效性。研究表明，当候选模型对于给定任务不是最优选择，或者预测器显著增强模型能力时，性能预测最为有益。研究提出，预测器的优势可以转移到模型上，通过重新校准来改善模型的损失。对16个语言模型的实验表明，性能预测带来的收益在模型不是最优时更为显著，并且随着模型微调的进行而降低。 AI
影响 这项研究可能通过优化特定查询的模型选择，从而实现更高效、更具成本效益的LLM部署。
排序理由 该集群包含一篇讨论LLM路由的理论和实验结果的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.31428v1 Announce Type: new Abstract: Large language models (LLMs) differ in capabilities and costs, motivating routing methods that adaptively choose a model for each query. These methods rely on performance prediction: given a query, estimate whether a model will answ…
Large language models (LLMs) differ in capabilities and costs, motivating routing methods that adaptively choose a model for each query. These methods rely on performance prediction: given a query, estimate whether a model will answer it correctly. Most routing methods train sepa…