Visual-World Paradigm

研究：注意力而非规模驱动视觉-语言模型中的人类-AI对齐

两篇新研究论文探讨了人类注意力与视觉-语言模型之间的对齐。第一篇论文聚焦于多模态语言预测，发现虽然增加视觉上下文改善了模型-人类对齐，但驱动因素主要是Transformer的注意力机制，而非模型规模。第二篇论文将各种视觉-语言模型的注意力图与人类注视点进行比较，揭示了解码器架构显著影响对齐效果，与Transformer相比，LSTM解码器显示出更高的对齐度但空间区分度较低。