两篇新研究论文 FedFFT 和 SpecGradFilter 提出新颖方法,通过分析频域中的梯度扰动来解决联邦学习中的客户端漂移问题。两篇论文都指出,客户端更新中的不一致性,尤其是在使用 Sharpness-Aware Minimization (SAM) 时,集中在低频分量。通过过滤这些低频信号,它们各自的框架旨在提高模型泛化能力和收敛性,尤其是在非独立同分布(non-IID)数据分布下,而不会显著增加通信开销。 AI
影响 这些方法可以提高在去中心化数据集上训练 AI 模型的鲁棒性和效率,尤其是在数据分布多样或不均匀的情况下。
排序理由 两篇在 arXiv 上发表的学术论文,提出了联邦学习的新方法。
- alphaXiv
- arXiv
- client drift
- DagsHub
- federated learning
- FedFFT
- frequency domain
- Hugging Face
- Sharpness-Aware Minimization
- SpecGradFilter
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →