ScreenBench

UniCoder框架通过符号奖励推进视觉到代码生成

研究人员开发了UniCoder，一个旨在通过解决当前多模态大型语言模型的局限性来改进视觉到代码生成的新型框架。该系统集成了符号属性对齐，它使用辅助LLM将代码解析为离散的视觉属性，以实现更精确的奖励计算，以及参考引导代码优化，它注入地面真实轨迹以增强策略改进。在多个基准测试上的实验表明，UniCoder（一个8B参数模型）取得了最先进的性能，在通用视觉到代码合成方面超越了开源基线并可与专有模型相媲美。