Wenzhi Fang

Federated Sketching LoRA enables flexible LLM fine-tuning

研究人员推出了一种名为 Federated Sketching LoRA (FSLoRA) 的新框架，旨在改进具有不同计算能力的设备上大型语言模型 (LLM) 的协作微调。FSLoRA 允许客户端选择性地更新全局 LoRA 模块的部分，通过调整决定子矩阵秩的草图比例来适应个体资源限制。理论分析证实了这些比例对收敛速率的影响，实验结果表明 FSLoRA 在训练效率和稳定性方面优于现有方法。