Action-Aware Critic Head

VisCritic 框架通过视觉状态比较增强 GUI 代理

研究人员推出了 VisCritic，一个新颖的视觉过程奖励框架，旨在提高 GUI 代理的性能。与以往仅依赖文本推理的方法不同，VisCritic 直接在视觉特征空间中比较动作前后的屏幕截图，以验证代理的动作。该方法利用了 Siamese 视觉 transformer 和一个动作感知 Critic Head 来评估动作成功率、任务进度和错误类型，提供了一个即插即用的解决方案，可改进基准指标并提供视觉诊断线索。