研究人员开发了一种名为RIVET(Response-Informed Value Estimation for Turn-Level Routing)的新方法,以改进多轮大语言模型对话的路由方式。该方法利用模型实际响应的信息,以及通话前数据,来训练价值估计器。通过在训练中利用这种通话后证据,RIVET可以更准确地预测每一轮应使用哪个模型,从而提高任务成功率并显著降低成本。在MINT基准测试中,RIVET的表现优于现有基线,在解决更多任务的同时,计算成本也大大降低。 AI
影响 该方法通过优化模型选择,可以显著降低复杂、多轮大语言模型应用的运营成本。
排序理由 该集群包含一篇研究论文,详细介绍了一种新的大语言模型路由方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →