UniCoder框架通过符号奖励推进视觉到代码生成

研究人员开发了UniCoder，一个旨在通过解决当前多模态大型语言模型的局限性来改进视觉到代码生成的新型框架。该系统集成了符号属性对齐，它使用辅助LLM将代码解析为离散的视觉属性，以实现更精确的奖励计算，以及参考引导代码优化，它注入地面真实轨迹以增强策略改进。在多个基准测试上的实验表明，UniCoder（一个8B参数模型）取得了最先进的性能，在通用视觉到代码合成方面超越了开源基线并可与专有模型相媲美。 AI

影响 该框架可以显著提高从视觉输入生成可执行代码的准确性和效率，对数据可视化和网页设计等领域产生影响。

排序理由 该集群描述了一篇详细介绍用于视觉到代码生成的新型框架和模型的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• ChartMimic
• Design2Code
• Multimodal Large Language Models
• ScreenBench
• UniSVG

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →