新的FLITE方法将联邦学习通信量减少了8718倍

研究人员开发了一种名为FLITE（Federated Low-rank Iterative Training Engine）的新方法，以显著降低联邦微调中的通信开销。与传输完整模型权重或压缩梯度的传统方法不同，FLITE使用网络权重的低秩分解，从一个可训练的少量潜在表示生成它们。这种方法将每个客户端每轮传输的数据量大幅减少到约5 KB，与标准的FedAvg相比减少了8718倍。FLITE在ResNet-18的CIFAR-100数据集上达到了74.67%的竞争力准确率，并证明了其对非独立同分布（non-IID）数据偏差的鲁棒性。 AI

影响 该方法通过最小化通信带宽需求，有可能显著降低联邦学习应用的基础设施成本并提高其可扩展性。

排序理由 该集群包含一篇详细介绍联邦学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• CIFAR-100
• FedAvg
• FLITE
• GroupNorm
• Radhakrishna Achanta
• ResNet-18

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →