FedSubMuon

新的FedSubMuon方法大幅降低LLM联邦微调的通信成本

研究人员开发了FedSubMuon，一种用于大型语言模型（LLM）联邦微调的新颖方法，可显著降低通信成本。该方法优化了共享结构化子空间内的紧凑系数矩阵，从而在保持矩阵感知优化的优势的同时实现高效更新。一个扩展版本FedSubMuon-GT通过使用投影梯度自适应跟踪的子空间基，进一步提高了准确性。实验表明，FedSubMuon-GT在多个数据集-模型对上取得了卓越的准确性，而FedSubMuon在各种通信预算下提供了最佳性能，大幅超越了基线。