RENDEQ

新工具 RENDEQ 衡量 VLM 在科学图表上的共识-准确性耦合

研究人员开发了 RENDEQ，一种用于生成科学图表语义等效重新渲染的工具，以更好地衡量模型在扰动输入上的共识与其实际正确性之间的关系。在三个开源视觉语言模型 (VLM) 上进行测试，他们发现与重采样相比，重新渲染提高了准确性和可靠性。然而，在模型自身的交叉渲染共识上进行微调会导致准确性下降，这与之前在自然图像上的发现相矛盾，并表明奖励共识的目标会损害性能。