一个名为 Optics Framework 的新框架已被开发出来,使 AI 模型能够自修复应用程序中损坏的定位器。该系统将失败的定位器、屏幕数据和屏幕截图发送到 AI 模型,然后由该模型识别正确的 UI 元素。作者通过两种方法试验了微调一个拥有 20 亿参数的模型 Qwen3.5-2B:直接权重编辑和 LoRA。LoRA 方法显示出更显著的改进,特别是对于基于目的的定位器,并成功集成到 Optics Framework 中,在 Google Pixel 4a 上运行。 AI
影响 通过允许 AI 动态修复损坏的元素定位器,实现更强大的 UI 自动化。
排序理由 该项目描述了一个用于改进 UI 自动化的框架和方法,而不是一个核心 AI 模型发布或研究论文。
- android
- com.google.android.deskclock:id/primary_action
- com.google.android.deskclock:id/start_stop_button
- com.google.android.deskclock:id/stopwatch_time_text
- com.google.android.deskclock:id/tab_menu_alarm
- Google Clock
- Google Pixel 4a
- iOS
- LoRA+
- Optics Framework
- qwen-0.8b
- Qwen3.5 2B
- Start menu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →