UI Agent

新的 WebUIProof 基准测试揭示了 LLM 生成代码中的功能缺陷

研究人员推出了 WebUIProof，这是一个旨在严格评估 WebUI 代码生成功能正确性的新基准。该基准利用 UI-agent 执行工具，在无头浏览器中模拟用户交互，以根据指定的断言测试生成的代码。对八个商业 LLM 的评估显示，基于交互的需求经常失败，尤其是在复杂的 3D 模拟界面方面。研究还表明，使用从这些交互测试中获得的强化学习信号来训练 Qwen2.5 14B 和 MIMO 7B 等较小模型，可以提高功能完成率并减少构建错误。