Macco

新的MACCO框架增强了视觉语言模型组合性

研究人员开发了MACCO，一个旨在提高视觉语言模型（VLMs）组合性理解的新框架。MACCO通过掩码一种模态中的组合概念，并利用另一种模态的上下文信息进行重构，从而解决了现有模型在物体关系、属性-物体绑定和词序方面常常遇到的局限性。这种方法增强了跨模态组合结构的对齐，并在多个基准测试中显著提高了组合性、句法结构捕获和语言信息处理能力。该框架还有益于文本到图像生成和多模态大型语言模型等下游应用。