一个新接口通过为大型语言模型提供“眼睛”和“手”，使其能够与移动模拟器进行交互。该系统将现有的模拟器API暴露为大型语言模型可以调用的工具，使它们能够根据屏幕截图的视觉输入执行点击、滑动和输入等操作。这种方法利用大型语言模型的感知-行动循环，在移动环境中实现自动化测试和交互。 AI
影响 使大型语言模型能够自动化移动应用测试和交互，可能简化质量保证流程和开发工作流程。
排序理由 这描述了一个新的软件工具和大型语言模型的集成方法，而不是核心模型发布或重大的行业转变。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<h2> The interface a human uses </h2> <p>When a person does QA in tapflow, the loop is:</p> <ol> <li>Look at the simulator screen</li> <li>Decide what to do (tap, swipe, type)</li> <li>Do it</li> <li>Look again</li> </ol> <p>This is exactly the perception-action loop that vision-…