Haruto Yoshida

大型视觉语言模型在内部信号存在的情况下仍难以处理图关系

研究人员发现，在处理图表时，大型视觉语言模型（LVLMs）的内部表示与其预测能力之间存在脱节。尽管 LVLMs 在图表理解基准测试中表现出熟练度，但它们常常无法掌握关系，特别是涉及定向边的关系。通过对合成图表和流程图的实验，研究发现与节点和边相关的信号可以从模型的隐藏状态中解码，并且在某些情况下，这些信号会因果性地影响模型的预测。这表明模型内部处理的信息与其生成的输出之间存在差距。