LLMRouterBench
PulseAugur coverage of LLMRouterBench — every cluster mentioning LLMRouterBench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的COMPASS代理路由器优化LLM选择以降低成本和提高准确性
研究人员开发了COMPASS，一种新颖的代理LLM路由器，旨在优化模型选择以降低成本和提高准确性。与需要频繁更新的专用路由器不同，COMPASS使用LLM遵循路由配方，通过工具收集性能数据，甚至在选择模型之前检查候选答案。在LLMRouterBench和DeepSWE基准上的评估表明，与现有的路由方法相比，COMPASS以更低的成本实现了更高的准确性，并且无需重新训练即可适应新模型。
-
RLCascadeRouter 利用强化学习优化 LLM 路由
研究人员开发了 RLCascadeRouter，这是一个新颖的框架，通过将大语言模型（LLM）的查询路由视为马尔可夫决策过程来对其进行优化。这种方法直接优化性能-成本目标，而无需依赖可能导致次优路由决策的独立质量评估器。该系统的级联策略网络模拟了候选互补性和剩余动作值，使其在十个 LLMRouterBench 基准测试和十三种 LLM 上表现优于现有基线。RLCascadeRouter 还展示了在无需重新训练的情况下整合新模型的能力。
-
研究论文将大型语言模型路由差距分解为噪声和优势
一篇新发表在arXiv上的研究论文探讨了大型语言模型（LLMs）中的“路由差距”，它指的是学习到的路由器性能与理想神谕器性能之间的差异。该研究将这一差距分解为可复现的专家优势和单次抽样标签噪声，表明噪声成分是差距的一个重要少数部分，尤其是在困难查询上。研究人员提出了一种新的多样本神谕器评估协议用于路由基准测试，并发布了相关的代码和数据。