FedFrozen

FedFrozen论文介绍用于异构联邦学习的两阶段优化方法

研究人员推出FedFrozen，一种新颖的两阶段联邦优化框架，旨在提高Transformer模型在异构联邦学习环境中的稳定性和有效性。该方法通过首先进行全模型预热，然后冻结注意力机制的查询/键（query/key）块，同时继续优化值（value）块来解决客户端漂移问题。该方法在线性注意力公式下进行了理论分析，证明了其在局部更新不一致的情况下提高性能的能力。