Hybrid Computer Use

新型混合界面统一 AI 代理交互通道

研究人员推出了一种名为混合式计算机使用（HCU）的新型界面，旨在增强通用 AI 代理的能力。HCU 统一了编程、语义和视觉交互通道，使代理能够更有效地利用代码、辅助功能和图形用户界面。该方法旨在通过暴露计算机底层的语义和编程功能来克服传统基于屏幕截图界面的局限性。在 OSWorld 2.0 基准测试中的评估显示，使用 HCU 的代理与现有系统相比，效率和任务成功率均有所提高，不同模型对通道的使用方式也各不相同。