Federated Optimization

联邦优化：边缘稳定性阻碍SCAFFOLD算法

一项新的研究论文探讨了为什么SCAFFOLD算法在联邦优化中尽管有强大的理论保证，但在实践中通常表现不如更简单的FedAvg方法。研究提出，“边缘稳定性”（EoS）动力学，由于数据异质性而加剧，显著降低了SCAFFOLD准确估计全局梯度的能力。观察到这种退化与学习率成反比，并受数据异质性的影响，这表明SCAFFOLD在深度学习应用中存在关键限制。