C3-UniMM

新的C3-UniMM框架通过因果一致性增强多模态AI

研究人员推出了一种新颖的统一多模态建模框架C3-UniMM，旨在解决现有方法的局限性。与依赖统计相关性的先前方法不同，C3-UniMM结合了因果循环一致性和超对齐，以确保跨模态的结构一致性。该框架利用结构化潜在因果图作为共享语义空间，并利用统一解码空间在生成过程中保持结构保存和语义可逆性，从而在各种理解、生成和组合泛化任务上取得改进的性能。