FedACT 方法通过异构数据改进了联邦 Transformer 训练

研究人员引入了 FedACT，这是一种旨在增强联邦 Transformer 训练鲁棒性的新颖方法，尤其是在处理异构客户端数据时。该方法通过基于逐坐标信任分数重新分配更新幅度，解决了 AdamW 等自适应优化器中的“坐标信任不匹配”问题。FedACT 优先更新同时得到局部梯度和全局校正一致支持的坐标，同时仍允许其他坐标进行较小的更新。在包括视觉 Transformer 和 LLM 在内的各种模型上的实验表明，FedACT 在现有联邦自适应基线之上表现更优，尤其是在数据异构性显著的情况下。 AI

影响 增强了联邦 Transformer 训练的鲁棒性，有望提高 LLM 的预训练和微调效率。

排序理由 详细介绍联邦学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AdamW
• alphaXiv
• arXiv
• CatalyzeX
• CNNs
• DagsHub
• FedACT
• Gotit.pub
• Hugging Face
• LLM
• ScienceCast
• SGD
• transformers

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →