Android in the Wild

新研究探讨小型GUI基础模型最优动作类型输入方法

研究人员探索了小型GUI基础模型有效接收动作类型的方法，并比较了五种不同方法。在Android in the Wild数据集上使用LoRA对Qwen2-VL-2B模型进行微调，他们发现辅助损失、加性学习嵌入和基于提示的动作词显著提高了性能，优于基线。然而，硬路由和前缀标记没有显示出明显的好处，而将屏幕外触摸点夹紧的预处理选择对基础准确性产生了负面影响。