two-model cascades

研究：性能预测在LLM路由中对次优模型最有效

一篇新的研究论文探讨了在将查询路由到不同大型语言模型（LLMs）时，性能预测的有效性。研究表明，当候选模型对于给定任务不是最优选择，或者预测器显著增强模型能力时，性能预测最为有益。研究提出，预测器的优势可以转移到模型上，通过重新校准来改善模型的损失。对16个语言模型的实验表明，性能预测带来的收益在模型不是最优时更为显著，并且随着模型微调的进行而降低。