long-horizon workflows

新的Kolab数据集对AI代理协作质量进行基准测试

一个名为Kolab的新数据集已被发布，用于在长周期专业工作流中对人机协作进行基准测试。该数据集包含来自50名专业人士、跨越40种职业的115小时以上的屏幕录像，揭示了当前前沿AI代理高估了它们的协作质量，并且难以预测专家将如何利用它们的贡献。与侧重于自动化的现有基准测试不同，Kolab强调了持续互动的重要性以及代理预测专家对其输出的采纳或拒绝的能力。