PulseAugur
中
实时 06:35:58
English(EN) Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning

新的 Dysco 方法提高了联邦学习中 LoRA 的稳定性 · 已跟踪 2 个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种名为动态子空间增强 (Dysco) 的新方法，以解决在使用低秩自适应 (LoRA) 微调大型语言模型时联邦学习中出现的稳定性问题。Dysco 通过动态分配客户端特定的 LoRA 子空间来解决数据-参数干扰问题，将聚合视为一个子空间分配问题，而不仅仅是参数平均。在合成任务和使用 Llama 3.2 1B 的 MIMIC-IV 临床数据上进行的实验表明，Dysco 显著减少了干扰，提高了模型性能，并且在开销极小的情况下优于现有的联邦 LoRA 技术。 AI

影响 这项研究可能有助于在分布式环境中更稳定、更高效地微调大型语言模型，从而提高在专业数据集上的性能。

排序理由 该集群描述了一篇学术论文中提出的一种用于改进联邦学习技术的新方法。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的 Dysco 方法提高了联邦学习中 LoRA 的稳定性 · 已跟踪 2 个来源

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Haobo Zhang, Jiankun Wang, Suraj Rajendran, Weishen Pan, Lam Tsoi, Yong Chen, Fei Wang, Jiayu Zhou ·

    Dysco：动态子空间增强以减轻联邦学习中的LoRA干扰

    arXiv:2607.14367v1 Announce Type: new Abstract: Federated fine-tuning of large pre-trained models increasingly relies on Low-Rank Adaptation (LoRA) to reduce communication and computation, but heterogeneous clients can make adapter aggregation unstable. We identify the data-param…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    Dysco：动态子空间增强以减轻联邦学习中的LoRA干扰

    Federated fine-tuning of large pre-trained models increasingly relies on Low-Rank Adaptation (LoRA) to reduce communication and computation, but heterogeneous clients can make adapter aggregation unstable. We identify the data-parameter interference as a geometric source of this …

相关实体

相关话题