研究人员开发了一种新颖的联邦学习框架,该框架能够在具有不相交和私有数据的去中心化节点上训练多模态基础模型。该方法解决了当前需要集中式数据中心和对齐数据集的方法的局限性。所提出的框架使用一小组公共锚点来对齐私有流形,采用Gram矩阵和居中核对齐来确保语义对齐,而无需传输原始数据。它还为大型Transformer模型集成了子空间稳定微调和精度加权平均,以管理节点不确定性,从而使全局模型能够从碎片化的数据孤岛中学习,同时保护数据主权。 AI
影响 支持在碎片化、私有数据上训练大型多模态模型,可能加速隐私敏感领域的AI发展。
排序理由 该集群描述了一篇详细介绍新联邦学习框架的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →