JK-EGW

新研究通过最优传输和潜在去噪探索多模态对齐

两篇新研究论文探讨了改进大型模型中多模态对齐的方法。第一篇论文引入了联合核熵格罗莫夫-沃塞尔斯坦最优传输（JK-EGW），通过最小化二次最优传输目标来对齐不同模态的数据，在数据稀疏的情况下显示出改进的检索性能。第二篇论文为 LLaVA 等大型多模态模型（LMMs）提出了一种潜在去噪框架，通过在训练期间添加去噪目标来增强内部视觉表示和对分布变化的鲁棒性。