Michiaki Tatsubori

AI编码代理通过参考图像获得UI理解能力提升 · arXiv

研究人员开发了一种新颖的方法，以提高AI编码代理理解UI截图的能力，尤其是在图像质量下降的情况下。所提出的解决方案涉及为这些代理提供存储库渲染的参考图像。这些来自同一代码库生成的清晰截图，提供了UI的清晰视觉证据，帮助代理更准确地识别相关的UI元素和源文件，尤其是在原始截图被压缩或分辨率较低的情况下。在源自SWE-bench Multimodal的基准测试上进行的实验表明，该方法显著提高了文件定位的准确性，在降级条件下优于标准的OCR方法。