Structured Graphics

调查梳理了用于从视觉输入生成代码的多模态AI

一篇新发表在arXiv上的调查论文探讨了新兴的多模态代码智能领域。该领域专注于能够根据屏幕截图、图表和交互状态等视觉输入理解和生成代码的AI模型，超越了传统的文本到代码合成。该论文将现有研究分为四个领域：图形用户界面、科学可视化、结构化图形以及前沿任务和框架。它还提出了以验证为中心的未来研究方向，包括多信号验证、多状态验证、跨任务迁移测试和可验证的代理轨迹。