EvoGUI

新的EvoGUI基准揭示AI在GUI状态转换方面存在困难

研究人员推出EvoGUI，这是一个旨在评估AI模型对图形用户界面（GUI）状态转换理解能力的新基准。该框架将GUI轨迹转换为三个不同的问答探针，除了归一化的轨迹数据外，无需额外标注。在Mind2Web和WebLINX等现有数据集上进行测试时，即使是最强大的模型在EvoGain指标上的得分也仅为60.4%，表明AI在此理解领域仍有很大的改进空间。