PulseAugur
中
实时 11:36:24
English(EN) Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning

新的 Dysco 方法提高了联邦学习中 LoRA 的稳定性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为动态子空间增强 (Dysco) 的新方法，用于在使用低秩自适应 (LoRA) 微调大型预训练模型时提高联邦学习的稳定性。Dysco 通过动态分配客户端特定的 LoRA 子空间来解决数据-参数干扰问题，将该过程视为子空间分配而非仅仅参数平均。在合成数据和使用 Llama 3.2 1B 的 MIMIC-IV 数据集上进行的实验表明，与现有的联邦 LoRA 方法相比，Dysco 显著减少了干扰，从而在训练损失和准确性方面取得了实质性改进，同时计算开销的增加极小。 AI

影响 该方法可以实现对分布式环境中大型模型的更稳定、更高效的微调，从而提高在敏感或分布式数据集上的性能。

排序理由 该集群包含一篇详细介绍联邦学习新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 Dysco 方法提高了联邦学习中 LoRA 的稳定性

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Haobo Zhang, Jiankun Wang, Suraj Rajendran, Weishen Pan, Lam Tsoi, Yong Chen, Fei Wang, Jiayu Zhou ·

    Dysco：动态子空间增强以减轻联邦学习中的LoRA干扰

    arXiv:2607.14367v1 Announce Type: new Abstract: Federated fine-tuning of large pre-trained models increasingly relies on Low-Rank Adaptation (LoRA) to reduce communication and computation, but heterogeneous clients can make adapter aggregation unstable. We identify the data-param…

相关实体

相关话题