研究人员开发了 BiGrounder,一种新颖的 GUI 基础方法,可将自然语言指令映射到自主代理的精确操作坐标。与仅依赖最终坐标监督的先前方法不同,BiGrounder 采用了双向训练范式。该方法使模型能够在监督微调 (SFT) 期间从目标坐标生成动作描述,然后在强化学习 (RL) 期间将这些描述重新映射回其目标。循环一致性门可确保语义质量与基础成功相关联,从而创建自我强化的训练循环。一个利用该技术的 40 亿参数模型在五个基础基准测试中展示了具有竞争力的准确性。 AI
影响 这种双向训练方法可以提高自主代理与图形用户界面交互的鲁棒性和准确性。
排序理由 该集群描述了一篇研究论文,其中详细介绍了一种用于 GUI 基础的新模型和训练方法。 [lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- BiGrounder
- CatalyzeX
- DagsHub
- Gotit.pub
- GUI Grounding
- Hugging Face
- reinforcement learning
- ScienceCast
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →