ProtocolBench

新的基准测试 ProtocolBench 评估 LLM 多智能体通信协议

研究人员推出了 ProtocolBench，这是一个旨在系统评估大规模多智能体系统中使用的通信协议的性能和可靠性的新基准。该基准衡量任务成功率、延迟、消息开销和故障下的鲁棒性，揭示了不同协议之间显著的性能差异。此外，该研究还提出了 ProtocolRouter，一个自适应系统，可根据特定场景需求和运行时信号选择最合适的协议，与静态协议选择相比，显示出更短的恢复时间和更高的任务成功率。