一项新的研究论文探讨了为什么SCAFFOLD算法在联邦优化中尽管有强大的理论保证,但在实践中通常表现不如更简单的FedAvg方法。研究提出,“边缘稳定性”(EoS)动力学,由于数据异质性而加剧,显著降低了SCAFFOLD准确估计全局梯度的能力。观察到这种退化与学习率成反比,并受数据异质性的影响,这表明SCAFFOLD在深度学习应用中存在关键限制。 AI
影响 识别出联邦学习算法的一个关键限制,可能指导未来研究朝着更鲁棒的优化方法发展。
排序理由 在arXiv上发表的研究论文,详细介绍了关于联邦优化算法的一项新发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- Anant Khandelwal
- arXiv
- CatalyzeX
- DagsHub
- Edge of Stability
- FedAvg
- Federated Optimization
- Gotit.pub
- Hugging Face
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →