一个名为Kolab的新数据集已被发布,用于在长周期专业工作流中对人机协作进行基准测试。该数据集包含来自50名专业人士、跨越40种职业的115小时以上的屏幕录像,揭示了当前前沿AI代理高估了它们的协作质量,并且难以预测专家将如何利用它们的贡献。与侧重于自动化的现有基准测试不同,Kolab强调了持续互动的重要性以及代理预测专家对其输出的采纳或拒绝的能力。 AI
影响 突出了当前AI代理在真实专业环境中有效协作的能力限制,表明需要改进上下文理解和预测能力。
排序理由 该集群描述了一个用于评估AI代理的新研究数据集和基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →