PulseAugur
中
实时 12:49:11
English(EN) FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA

FedRot-LoRA 改进了大型语言模型的联邦学习

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 FedRot-LoRA，一个旨在提高大型语言模型联邦学习效率和稳定性的新框架。该方法解决了旋转失准问题，即语义等价的更新在不同客户端可能表示在不同的潜在子空间中，导致聚合错误。通过在聚合前通过正交变换对客户端更新进行对齐，FedRot-LoRA 在不增加通信成本的情况下保留了语义更新并减少了子空间不匹配。实验表明，FedRot-LoRA 在各种异质性水平和 LoRA 秩上均优于现有的联邦 LoRA 基线。 AI

排序理由 这是一篇详细介绍联邦学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Haoran Zhang, Dongjun Kim, Seohyeon Cha, Haris Vikalo ·

    FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA

    arXiv:2602.23638v3 Announce Type: replace-cross Abstract: Federated LoRA provides a communication-efficient mechanism for fine-tuning large language models on decentralized data. In practice, however, a discrepancy between the factor-wise averaging used to preserve low rank and t…

相关实体

相关话题