CodeBind

新的AI框架增强了跨不同数据类型的多模态对齐

研究人员开发了新的框架来改进AI模型中的多模态对齐，旨在增强文本、图像和音频等不同数据类型如何被联合理解和生成。CodeBind引入了一种组合式码本设计，将共享特征和模态特定特征分开，在九种模态上取得了最先进的结果。LatentUMM专注于对进入和离开共享潜在空间的变换进行对齐，以防止跨模态转换期间的语义漂移。GOMA利用多模态属性图和图信号平滑来优化现有嵌入，展示了改进的检索性能和稳定性。