International Institute of Social History

新的 UI2App 基准测试，用于测试 LLM 从屏幕截图中推断 Web 应用程序行为的能力

研究人员推出了 UI2App，这是一个新的基准测试，旨在评估大型语言模型仅凭屏幕截图推断应用程序行为的能力。该基准测试弥补了现有图像驱动的 LLM 方法的不足，这些方法通常侧重于视觉保真度而非功能交互。UI2App 包含 45 个 Web 应用程序的 327 张屏幕截图，并评估了可执行性、导航、视觉保真度和交互推理。对六个领先的视觉语言模型的实验显示，视觉重建能力与交互实现之间存在显著差异，模型在跨页面状态管理方面尤其困难。