研究人员推出了FronTalk，这是一个旨在评估前端开发对话式代码生成能力的新基准。该基准纳入了多模态反馈，包括草图和屏幕截图等视觉元素，这些元素在设计中至关重要，但在AI代码生成中探索不足。FronTalk包含来自真实网站的100个对话，并使用新颖的基于代理的评估框架来衡量功能正确性和用户体验。对20个模型的初步评估突显了模型会忘记先前指令以及难以解释视觉反馈等重大问题，这促使了AceCoder的开发以缓解遗忘问题。 AI
影响 该基准测试有望推动AI在处理具有视觉上下文的复杂、多轮编码任务方面的能力取得进步，这对于实际应用程序开发至关重要。
排序理由 学术论文，介绍了一个用于AI代码生成的新基准和评估框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →