FraQ方法通过高效重压缩改进了用于LLM的联邦LoRA

研究人员推出了一种名为FraQ的新方法，用于大型语言模型联邦低秩自适应（LoRA）的高效坐标空间重压缩。该方法通过重压缩聚合后的因子来解决联邦LoRA中固有的聚合不匹配问题。FraQ通过将堆叠的因子分解为正交基和紧凑的坐标矩阵来实现这一点，然后从Gram矩阵中恢复奇异谱。实验表明，FraQ在保持与未压缩基线相当的准确性的同时，显著降低了下行通信和服务器端重压缩的开销。 AI

影响 该方法可以实现跨分布式数据集的大型语言模型更高效的协作训练，而不会损害准确性。

排序理由 该集群包含一篇详细介绍大型语言模型联邦学习新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• commonsense reasoning
• Gramian matrix
• large-language models
• LoRA
• Low-Rank Adaptation
• text classification

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →