Numerical Visual Chain-of-Thought

新的NV-CoT框架使MLLMs能够通过连续坐标对图像进行推理

研究人员推出了一种新颖的数值视觉思维链（NV-CoT）框架，该框架使多模态大语言模型（MLLMs）能够使用连续数值坐标对图像进行区域基础推理。该方法将模型的动作空间从离散的token扩展到连续的欧几里得空间，只需极少的架构更改即可直接生成边界框坐标。NV-CoT支持监督微调和强化学习，利用高斯或拉普拉斯策略以及重参数化采样进行策略优化。实验表明，与现有的视觉推理基线相比，NV-CoT显著提高了定位精度、最终答案准确性和训练收敛性。