UI Transformation

新基准评估 AI 编码代理处理多模态用户请求的能力

研究人员推出了 Co-Design Bench，这是一个旨在评估编码代理在满足多模态用户应用程序修订请求方面能力的全新基准。该基准包含 273 个源自真实用户编码会话的任务，分为两个赛道：多模态编辑和仓库编辑。这些任务使用专家定义的验收标准，评估代理在基础理解、UI 转换和功能实现方面的能力。初步评估表明，即使是表现最好的模型也只能完全满足一小部分任务，这凸显了在代理编码中，部分需求满足与完全任务成功之间的差距。