PulseAugur
中
实时 19:57:39

Federated Sketching LoRA enables flexible LLM fine-tuning

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为 Federated Sketching LoRA (FSLoRA) 的新框架，旨在改进具有不同计算能力的设备上大型语言模型 (LLM) 的协作微调。FSLoRA 允许客户端选择性地更新全局 LoRA 模块的部分，通过调整决定子矩阵秩的草图比例来适应个体资源限制。理论分析证实了这些比例对收敛速率的影响，实验结果表明 FSLoRA 在训练效率和稳定性方面优于现有方法。 AI

影响 能够在外围设备上实现更高效、更具适应性的 LLM 微调，可能加速分布式人工智能开发。

排序理由 该集群包含一篇详细介绍 LLM 微调新方法的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Wenzhi Fang, Dong-Jun Han, Liangqi Yuan, Seyyedali Hosseinalipour, Christopher G. Brinton ·

    Federated Sketching LoRA：一种用于异构 LLM 协作微调的灵活框架

    arXiv:2501.19389v4 Announce Type: replace Abstract: Fine-tuning large language models (LLMs) on resource-constrained clients remains a challenging problem. Recent works have fused low-rank adaptation (LoRA) techniques with federated fine-tuning to mitigate challenges associated w…

相关实体

相关话题