RLCascadeRouter

RLCascadeRouter 利用强化学习优化 LLM 路由

研究人员开发了 RLCascadeRouter，这是一个新颖的框架，通过将大语言模型（LLM）的查询路由视为马尔可夫决策过程来对其进行优化。这种方法直接优化性能-成本目标，而无需依赖可能导致次优路由决策的独立质量评估器。该系统的级联策略网络模拟了候选互补性和剩余动作值，使其在十个 LLMRouterBench 基准测试和十三种 LLM 上表现优于现有基线。RLCascadeRouter 还展示了在无需重新训练的情况下整合新模型的能力。