谷歌和Mercor开发的一个名为Physical-Engineering's Last Exam (PLE)的新基准显示,目前的AI代理在复杂的工程任务中挣扎,只有41.3%的设计满足所有安全和可行性要求。虽然代理可以满足大多数单独的约束条件,但在多个要求相互作用或在大量文档和修订中需要长期状态一致性时,它们就会失败。该研究强调了对能够管理设计状态、理解相互依赖关系并执行稳健验证的AI系统的需求,并表明未来的工程代理将需要复杂的验证机制作为核心基础设施。 AI
影响 突出了AI代理在复杂、多阶段工程任务中的关键能力差距,表明需要改进状态管理和验证基础设施。
排序理由 介绍用于评估工程任务中AI代理的新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →