ADP-HT

新的LLM路由策略在固定预算内最大化任务完成率

研究人员开发了一种名为ADP-HT的新型上下文老虎机策略，旨在优化在固定预算内将任务分配给大型语言模型（LLM）的效率。该策略学习特定于任务的成功概率，并使用粗粒度的响应长度标签来估计成本，目标是在预算耗尽前最大化已解决的任务数量。在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中，ADP-HT表现优于现有基线，甚至在严格的预算限制下也优于已部署的商业路由器。