AutoMedBench

新基准评估AI Agent在医学研究工作流中的表现

研究人员推出了AutoMedBench，一个旨在评估AI Agent在端到端医学研究工作流中性能的新基准。该基准将Agent执行组织成一个五阶段过程，包括规划、设置、验证、推理和提交，任务平均有33个Agent回合。对数千次运行的分析显示，验证阶段是最薄弱的，而设置阶段是最强的，这表明当前的Agent在创建可执行管道方面比确保其可靠性更在行。