OSWorld-MCP

AI 代理在多模态能力下仍难以采用工具

一篇新的研究论文探讨了能够通过截图或调用文本工具与计算机系统交互的混合式 AI 代理的有效性。研究发现，虽然工具可以改进推理模型，但如果使用不当，也可能损害非推理模型。一个被识别出的重大挑战是“采用差距”，即即使是推理模型，也只在部分适用任务中使用工具，这通常是因为存在更便宜的替代方案，并且模型没有被训练来优先使用工具。研究表明，改进工具调用语义和上下文管理，例如在成功调用工具后使截图变得冗余，可以带来更高效、更有能力的代理。