研究人员推出了UI2App，这是一个新颖的基准，旨在评估视觉语言模型从屏幕截图中生成可执行Web应用程序时的交互推理能力。与以往侧重于视觉保真度的基准不同，UI2App专门评估模型在没有文本或行为指导的情况下推断和实现交互行为的能力。该基准包含45个Web应用程序的327张屏幕截图，评估了可执行性、导航、视觉保真度和交互推理。对六个领先模型的实验显示，视觉重建和交互实现之间存在显著差距，模型在跨页面状态管理方面尤其困难。 AI
影响 该基准突显了AI从视觉输入生成功能性、交互式Web应用程序能力的当前局限性，表明需要进一步研究交互推理。
排序理由 该项目描述了一个用于评估AI模型的新基准论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
