Goldman et al.

新的DAIF框架学习多模态学习的最佳数据融合

研究人员开发了DAIF，一种用于多模态监督学习的新型框架，该框架能够自适应地确定如何融合来自不同数据源的信息。与依赖预定义融合架构的现有方法不同，DAIF使用面向数据的方法，包括随机矩阵理论和非参数依赖性度量，来学习最佳融合结构。这种方法使该框架能够更好地利用跨模态依赖性，同时保留模态特定的信号，从而提高下游任务的预测性能。该框架在模拟数据和两个真实世界数据集上进行了评估，证明了其有效性和多功能性。