CHI-Bench

新的GAMPO框架表明，AI代理治理的益处取决于模型的容量

研究人员开发了受管自的（Autotelic）多代理产品组织（GAMPO）框架，该框架是用于设计和评估追求在定义好的护栏内自我生成目标的AI代理组织的一种规范。该框架的有效性在CHI-Bench医疗基准上进行了测试，结果表明治理的益处取决于模型的可用容量和特定领域。对于容量受限的开放模型，简单的“验证你的写入”指令使任务成功率翻倍；而对于前沿模型，量身定制的“完成定义”显著提高了诸如事先授权等特定任务的性能，优于通用程序。