研究人员开发了一种名为 LBS(Look Beyond Screens)的新方法,用于训练视觉语言模型执行主动的、面向任务的视觉观察。该方法使用 GUI 基础轨迹作为空间监督的来源,最初通过监督微调,然后通过强化学习进行多轮检查决策。使用 LBS 训练的模型,包括基于 Qwen3.5-35B-A3B 和 Qwen3.8-27B 的模型,在 PerceptionBench、HR-Bench 和 ChartQAPro 等基准测试中表现出改进的性能和泛化能力,展示了超越简单模仿的有效观察策略。 AI
影响 这项研究推动了 AI 中可迁移视觉感知的发展,有望提高智能体在复杂交互环境中的能力。
排序理由 该集群包含一篇学术论文,详细介绍了用于视觉观察的新模型和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →