VinciCoder

VinciCoder框架通过视觉强化学习统一多模态代码生成

研究人员推出了一种名为VinciCoder的新型框架，用于通用多模态代码生成。该系统旨在通过利用大规模SFT语料库和一种新的粗粒度到细粒度视觉强化学习（ViRL）策略来统一图表到代码生成等任务。ViRL量化图像块之间的视觉相似性，提供一种与实现无关的奖励机制，确保渲染输出与输入视觉之间的高保真对齐。在各种基准测试上的实验表明，VinciCoder取得了卓越的性能，并且消融研究证实了ViRL方法的有效性。