研究人员开发了ScreenSearch，一个旨在改进AI代理对桌面图形用户界面（GUI）状态探索的新颖系统。该系统解决了部分可观察性带来的挑战，在这种情况下，视觉上相似的屏幕可能代表不同的底层工作流状态，导致局部合理操作产生不可预测的结果。ScreenSearch结合了结构化屏幕检索和去重，以及一个具有歧义感知能力的图-赌博机算法，以管理大规模桌面探索，在十一个应用程序中收集了超过一百万张截图和三万个去重状态。 AI
影响 通过改进状态探索和减少歧义，增强了AI代理与复杂桌面环境交互的能力。
排序理由 该集群包含一篇详细介绍AI代理探索新系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
