Dialogue Moral Hazard Game

新博弈测试多智能体语言模型中的合作失败

一项新的研究论文介绍了一种名为“对话道德风险博弈”的受控文本环境，旨在研究多智能体语言模型中的合作失败。研究发现，基础开放权重模型通常优先考虑局部奖励而非合作行为，未能查询对其他智能体有利的隐藏安全事实。虽然像GEPA提示优化这样的优化技术可以提高团队的成功率，但它们并不总是能恢复预期的合作机制。该研究强调需要进行评估来评估机制层面的行为，而不仅仅是整体团队的成功。