实体
UI2App
UI2App
PulseAugur coverage of UI2App — every cluster mentioning UI2App across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 UI2App 基准测试，用于测试 LLM 从屏幕截图中推断 Web 应用程序行为的能力
研究人员推出了 UI2App，这是一个新的基准测试，旨在评估大型语言模型仅凭屏幕截图推断应用程序行为的能力。该基准测试弥补了现有图像驱动的 LLM 方法的不足，这些方法通常侧重于视觉保真度而非功能交互。UI2App 包含 45 个 Web 应用程序的 327 张屏幕截图，并评估了可执行性、导航、视觉保真度和交互推理。对六个领先的视觉语言模型的实验显示，视觉重建能力与交互实现之间存在显著差异，模型在跨页面状态管理方面尤其困难。
-
新的UI2App基准测试AI从屏幕截图生成交互式Web应用程序的能力
研究人员推出了UI2App，这是一个新颖的基准，旨在评估视觉语言模型从屏幕截图中生成可执行Web应用程序时的交互推理能力。与以往侧重于视觉保真度的基准不同，UI2App专门评估模型在没有文本或行为指导的情况下推断和实现交互行为的能力。该基准包含45个Web应用程序的327张屏幕截图，评估了可执行性、导航、视觉保真度和交互推理。对六个领先模型的实验显示，视觉重建和交互实现之间存在显著差距，模型在跨页面状态管理方面尤其困难。