Encoder+WAR

新基准评估多智能体路由的准确性-成本权衡

研究人员引入了一个新的多智能体路由基准和评估协议，将其视为一个值集预测问题。该基准源自 WildChat，包含 3,000 个提示和 12 个智能体的目录，旨在研究智能体选择中准确性和成本之间的权衡。结果表明，监督式路由器的性能明显优于最近邻和零样本 LLM 路由等简单方法，其中微调编码器在无约束准确性方面表现最佳。该研究还强调了在约束环境下将加权智能体路由 (WAR) 应用于监督式评分器的有效性，特别是在编码器+WAR组合方面。