研究人员开发了RCSR，一个旨在改进联邦跨模态检索的新框架，特别是在处理客户端之间的数据异质性和缺失模态时。该系统利用了一个固定的CLIP骨干网络，结合了用于全局知识迁移的共享适配器和用于个性化的可选客户端特定适配器。RCSR采用原型锚定来帮助单模态客户端与全局语义对齐，并在服务器上使用语义路由器动态调整聚合权重，从而提高整体检索准确性和训练稳定性。 AI
影响 在具有异构和不完整数据的联邦学习场景中提高了跨模态检索的准确性和稳定性。
排序理由 这是一篇详细介绍联邦跨模态检索新框架的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.22885v1 Announce Type: new Abstract: Federated cross-modal retrieval faces severe challenges from heterogeneous client data, particularly non-IID semantic distributions and missing modalities. Under such heterogeneity, a single global model is often insufficient to cap…