一位名叫Henry Yuan的开发者创建了一个名为“ESP32 iPhone Agent”的系统,该系统允许AI在无需在iPhone上安装任何软件的情况下控制iPhone。该设置涉及将iPhone的屏幕镜像到一台计算机上,然后该计算机将命令发送到一个连接到iPhone的微控制器板(XIAO ESP32S3)。该板充当鼠标和键盘,利用iPhone的辅助触控功能来移动指针并执行点击。计算机上的AI模型分析屏幕并确定操作,Yuan的系统采用了独特的方法来纠正指针漂移并在每次操作后验证屏幕更改。 AI
影响 使AI能够在无需设备端软件的情况下控制移动设备,可能对自动化和可访问性产生影响。
排序理由 这描述了现有硬件和AI在设备控制方面的新颖应用,但它不是来自前沿AI实验室的发布,也不是重大的行业性事件。
在 Mastodon — mastodon.social 阅读 →
- Apple Inc.
- AssistiveTouch
- ESP32 iPhone Agent
- Henry Yuan
- iOS
- iPhone
- Linux
- macOS
- MIT
- OpenAI
- XIAO ESP32S3
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →