Michael Solodko

ScreenSearch系统通过不确定性感知增强桌面GUI探索

研究人员开发了ScreenSearch，一个旨在通过解决部分可观察性挑战来改进桌面图形用户界面（GUI）探索的新颖系统。该系统结合了结构化屏幕检索和去重，以及一个不确定性感知的图-赌博机算法，以导航和理解不同的工作流状态。ScreenSearch收集了大量数据，包括在11个应用程序中超过100万张截图和30,000个去重状态，以构建多样化的探索语料库。分析显示，发现新状态和减少歧义之间存在权衡，表明仅减少歧义不足以实现有效的探索。