commonsense reasoning

FraQ方法通过高效重压缩改进了用于LLM的联邦LoRA

研究人员推出了一种名为FraQ的新方法，用于大型语言模型联邦低秩自适应（LoRA）的高效坐标空间重压缩。该方法通过重压缩聚合后的因子来解决联邦LoRA中固有的聚合不匹配问题。FraQ通过将堆叠的因子分解为正交基和紧凑的坐标矩阵来实现这一点，然后从Gram矩阵中恢复奇异谱。实验表明，FraQ在保持与未压缩基线相当的准确性的同时，显著降低了下行通信和服务器端重压缩的开销。