WISERouter

WISERouter 框架在预算约束下优化 LLM 路由

研究人员推出了一种新颖的框架 WISERouter，旨在通过平衡性能和成本来优化大型语言模型 (LLM) 路由。该系统解决了当前方法的一些局限性，例如可能不严格遵守预算约束的启发式方法，以及收集密集监督学习数据集的高昂成本。WISERouter 将 LLM 路由构建为一个受约束的上下文多臂老虎机问题，能够从历史数据中进行离线学习和通过探索进行在线学习，并在实证测试中展示了卓越的性能和预算遵守能力。