RouterBench
PulseAugur coverage of RouterBench — every cluster mentioning RouterBench across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的LLM路由策略在固定预算内最大化任务完成率
研究人员开发了一种名为ADP-HT的新型上下文老虎机策略,旨在优化在固定预算内将任务分配给大型语言模型(LLM)的效率。该策略学习特定于任务的成功概率,并使用粗粒度的响应长度标签来估计成本,目标是在预算耗尽前最大化已解决的任务数量。在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中,ADP-HT表现优于现有基线,甚至在严格的预算限制下也优于已部署的商业路由器。
-
新的ADP-HT策略在固定预算内优化LLM使用
研究人员开发了一种新的上下文老虎机策略ADP-HT,用于在固定预算内优化大型语言模型(LLM)的使用。该策略旨在通过学习模型成功概率和创建保守的成本估算来最大化在预算耗尽前解决的任务数量。ADP-HT根据实际支出和可用预算调整成本惩罚,在MATH500、GPQA、RouterBench和LiveCodeBench等基准测试中表现优于现有基线,尤其是在预算紧张的情况下。
-
Cloudflare 的 Clef 旨在通过高效、低成本的路由优化 AI 代理路由器
Cloudflare 推出了 Clef,一款旨在提升 AI 代理路由器性能的新工具。Clef 旨在取代路由器中传统的分类器调用,后者常常难以满足严格的输出要求。通过单次扫描评估选项而不生成 token,Clef 提供了一种更高效、更具成本效益的解决方案,在 Clef-flash 套餐上的价格为每百万次输入 0.038 美元。虽然 Clef 在路由测试中表现出高准确性,但其在 Cloudflare 的 RouterBench 上的表现与…
-
新研究通过统一框架和新颖的嵌入技术解决 LLM 路由挑战 · 跟踪 2 个来源
两篇新研究论文探讨了大型语言模型 (LLM) 路由的先进方法,旨在提高效率和泛化能力。RouteWeaver 引入了一个统一的框架,该框架动态选择和协调异构 LLM,共同学习模式选择和执行策略。此外,一项关于嵌入几何的研究表明,语义嵌入在 LLM 选择方面可能不可靠,并提出了一种使用特定 LLM 层隐藏状态的新方法以获得更好的泛化能力。两篇论文都强调了为多样化任务和未见场景优化 LLM 路由的日益增长的复杂性和挑战。
-
CopRoute:语言模型的依赖感知路由
研究人员推出了一种新颖的语言模型路由方法 CopRoute,该方法考虑了模型故障之间的依赖关系。与以往将模型视为孤立的方法不同,CopRoute 考虑了模型由于共享训练数据或架构而在相似查询上可能出现的故障。这种依赖感知策略旨在提高查询覆盖率,同时控制所有模型都失败的风险。在 RouterBench 和 RouterEval 上的评估中,CopRoute 在找到正确答案所需的调用次数方面显示出显著减少,性能优于最先进的方法。
-
研究发现LLM路由元数据带来隐私风险
一篇新的arXiv论文研究了大型语言模型(LLM)路由元数据相关的隐私风险。研究人员发现,LLM路由器为了将请求导向更便宜或更昂贵的模型而做出的选择,即使在禁用内容日志记录的情况下,也可能无意中泄露敏感话题信息。该研究分析了数百万次真实请求,并证明了特定类别的提示,例如医疗或性内容,被导向了不同的路由,从而可能推断出用户的兴趣。
-
新研究评估了跨基准的开源 AI 模型路由器
一篇新发布的 arXiv 论文评估了四个开源模型路由器,这些系统在代理框架中负责模型选择。该研究引入了一个通用的测量协议,以在四个基准上比较这些路由器:RouterBench、BFCL v4、tau2-bench 和 WebArena。研究结果表明,三个被评估的路由器一致地将任务分配给相同的模型层级,而 vLLM Semantic Router 根据提示内容显示出更多变化,但在任何基准上均未达到最高的成功率。研究表明,观察到的性能提升…
-
WISERouter 框架在预算约束下优化 LLM 路由
研究人员推出了一种新颖的框架 WISERouter,旨在通过平衡性能和成本来优化大型语言模型 (LLM) 路由。该系统解决了当前方法的一些局限性,例如可能不严格遵守预算约束的启发式方法,以及收集密集监督学习数据集的高昂成本。WISERouter 将 LLM 路由构建为一个受约束的上下文多臂老虎机问题,能够从历史数据中进行离线学习和通过探索进行在线学习,并在实证测试中展示了卓越的性能和预算遵守能力。
-
开源工具以更低成本和更高效率优化 AI 模型
Experiential Labs 发布了一款名为 World Model Optimizer (wmo) 的开源工具,旨在降低部署 AI 模型的成本。该工具优化代理轨迹以创建更小、更高效的模型,并可以在前沿模型和更小的模型之间路由请求,以在较低成本下保持质量。它支持各种优化策略,包括模型蒸馏、部署单个模型以及为代理构建优化的工具链,并提供本地或云托管执行选项。
-
新指标评估语言模型路由策略的有效性
研究人员开发了一个新的框架来评估语言模型路由策略,重点关注行为差异化和稳定性,而不仅仅是任务准确性。他们提出采用分层社会熵(HSE)来衡量代理多样性,并使用基于扰动的指标来衡量鲁棒性。将这些方法应用于 EmbedLLM 和 RouterBench,他们发现一小部分代理就可以捕捉到大部分可用多样性,并且虽然 KNN 路由器可以提高专家社会的准确性,但它们缺乏鲁棒性,这一点与提示路由不同。
-
新算法利用用户重试来优化 LLM 路由和调度
研究人员开发了一种名为 ACQB(anytime CQB)的新算法,以改进大型语言模型(LLM)的查询路由和调度。该算法利用用户重试行为的隐式反馈,而非显式评分,来学习用户偏好并优化 LLM 分配。ACQB 旨在保持队列稳定性并减少对话式 LLM 服务中的累积遗憾,在合成数据、离线数据集和真实用户日志的实验中显示出有希望的结果。