FLoKD

FLoKD框架支持通信成本降低的联邦大语言模型训练

研究人员开发了FLoKD，一个用于无线网络上大语言模型（LLMs）联邦学习的新框架。该方法通过传输低秩适配器（LoRA）的中间激活值而非完整参数或token级logits，利用自适应知识蒸馏，显著降低了通信开销。FLoKD通过选择性地传输信息量大的Transformer块并采用数据集选择策略来丢弃不相关样本，进一步优化了这一点。实验表明，FLoKD在通信成本降低50-65%的同时，实现了具有竞争力的准确率。