新的SeFoRA算法增强了大型神经网络的联邦微调

研究人员推出了一种名为SeFoRA的新算法，该算法专为使用低秩适配（LoRA）的大型神经网络的联邦参数高效微调而设计。SeFoRA通过允许在联邦器上直接聚合本地更新的线性草图，解决了客户端使用不同LoRA秩带来的挑战。这种方法减轻了双线性不匹配，并允许在更小的子空间中进行聚合。一个秩同质版本SeFoRA-Ho进一步简化了适配器聚合。理论分析表明其收敛于一个稳定点，并且在RoBERTa-Large在GLUE数据集上微调的实验表明，SeFoRA的表现优于现有的最先进方法。 AI

影响 增强了大型模型的联邦学习技术，可能提高分布式AI训练的效率和性能。

排序理由 该集群描述了arXiv论文中提出的一种用于联邦学习的新算法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Federated Low-Rank Adaptation
• GLUE
• Hu et al.
• LoRA
• RoBERTa-large
• SeFoRA
• SeFoRA-Ho

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →