DAYJOB

新的DAYJOB基准测试揭示AI在长时程专业任务上面临挑战

一项名为DAYJOB的新基准测试已被开发出来，用于评估AI代理在长时程专业任务中的表现，特别是在医疗保健和金融领域。该基准测试包含130项任务，每项任务平均需要人类专业人士花费13.6至16.6小时才能完成。即使是像Claude Opus 5.5这样先进的模型也表现不佳，仅能完成约24%的医疗保健和金融任务，这表明AI在复杂、多步骤的专业工作中面临重大挑战。研究人员发现，代理模型经常接受有缺陷的前提，并在其分析中传播错误。