TurtleAI

新基准显示视觉语言模型在视觉编程任务上存在困难

研究人员推出了 TurtleAI，这是一个旨在评估视觉语言模型（VLMs）在海龟图形（Turtle Graphics）教育性视觉编程任务上的新基准。该基准包含 823 个任务，结果显示包括 GPT-5 和 GPT-4o 在内的 20 多个领先的 VLM 在此方面存在显著困难，成功率通常低于 30%。提出的数据生成技术和对 Qwen2-VL-72B 的微调在真实任务上显示出约 20% 的显著改进，突显了模型在空间推理和精确视觉复制方面的挑战。