新的MobileForge基准揭示了多模态LLM应用生成中的局限性

研究人员推出了一款名为MobileForge的新基准，旨在评估多模态大语言模型从视觉设计生成完整、功能性移动应用的能力。现有的基准侧重于单页面，未能评估跨页面导航或项目范围的可维护性，因此存在不足。MobileForge通过包含真实移动应用、人工审查的屏幕、导航规范以及涵盖可构建性、导航、视觉保真度、代码可维护性和效率的五轴评估框架来解决这些局限性。对六个前沿多模态LLM的初步测试表明，尽管当前模型可以生成可编译的应用项目并到达正确的页面，但交互式导航仍然不可靠，视觉保真度和可维护性仍需显著改进。 AI

影响 该基准将推动多模态LLM在软件开发领域的改进，有望加速复杂移动应用的创建。

排序理由 该集群包含一篇介绍新模型评估基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• MobileForge
• ScienceCast

• 论文
• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →