Bartosz Kotrys

Claude 多模型编排在基准测试中适得其反，代价更高但效果更差

一项将四个 Claude 模型连接起来用于 Terminal-Bench 2.1 基准测试的实验，揭示了多模型编排的显著弊端。该设置旨在利用一个强大的模型进行监督，而使用更便宜的模型执行任务，结果 Opus 模型拒绝执行有效的安全相关命令。此外，跳过的审查步骤和低效的委托导致与单模型方法相比，成本增加且成功率降低。作者发现，四模型系统解决了 78% 的任务，成本为 1,178 美元，在总排名中位列第七，并且比表现最佳的单模型昂贵得多。