Raso

新的RASO方法优化了具有缺失数据的多模态联邦学习

一篇新论文介绍了一种名为角色感知服务器优化（RASO）的方法，该方法旨在改进在某些数据模态缺失的情况下进行的多模态联邦学习。RASO解决了在选择哪些客户端应为模型组件做出贡献以及如何聚合其更新方面的挑战。所提出的方法区分了编码器更新和共享预测块更新，即使在模态缺失的情况下也能实现更有效的聚合。实验表明，RASO在各种数据集和融合架构上都提高了性能。