研究人员开发了Waffle,这是一种新颖的微调策略,旨在增强多模态模型根据UI设计生成前端Web开发代码的能力。该方法解决了两个关键挑战:为LLM表示HTML的结构复杂性,以及弥合UI图像和HTML代码之间的视觉-文本差距。Waffle采用了一种感知结构的注意力机制和对比微调方法,与现有方法相比,在HTML匹配度、视觉相似性和代码到图像对齐方面取得了显著改进。 AI
影响 这项研究可能导致更高效、更准确的AI驱动的Web开发工具,从而可能降低创建用户界面的门槛。
排序理由 这是一篇详细介绍多模态模型新微调策略的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →