text-to-visual attention

视觉语言模型：规模、安全性和效率的探索

近期研究探讨了视觉语言模型（VLM）的复杂性，重点关注它们如何处理视觉和文本信息以及它们的局限性所在。研究调查了模型大小与视觉输入分辨率之间的权衡，医疗诊断应用中失败的因果机制，以及模态差距的几何特性。进一步的研究检查了VLM的注意力机制如何与人类注视对齐，并开发了高效的token剪枝方法以降低计算成本。此外，正在创建新的数据集和基准，以提高VLM在电路布局分析等专业领域的性能，并审计它们对字体图层的理解。