AceCoder

新基准测试AI前端编码并提供视觉反馈

研究人员推出了FronTalk，这是一个旨在评估前端开发对话式代码生成能力的新基准。该基准纳入了多模态反馈，包括草图和屏幕截图等视觉元素，这些元素在设计中至关重要，但在AI代码生成中探索不足。FronTalk包含来自真实网站的100个对话，并使用新颖的基于代理的评估框架来衡量功能正确性和用户体验。对20个模型的初步评估突显了模型会忘记先前指令以及难以解释视觉反馈等重大问题，这促使了AceCoder的开发以缓解遗忘问题。