ScreenSearch

ScreenSearch系统改进了AI代理对桌面GUI的探索

研究人员开发了ScreenSearch，一个旨在改进AI代理对桌面图形用户界面（GUI）状态探索的新颖系统。该系统解决了部分可观察性带来的挑战，在这种情况下，视觉上相似的屏幕可能代表不同的底层工作流状态，导致局部合理操作产生不可预测的结果。ScreenSearch结合了结构化屏幕检索和去重，以及一个具有歧义感知能力的图-赌博机算法，以管理大规模桌面探索，在十一个应用程序中收集了超过一百万张截图和三万个去重状态。