实体
Federated LoRA
Federated LoRA
PulseAugur coverage of Federated LoRA — every cluster mentioning Federated LoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
联邦 LoRA 方法通过新的自适应方法优化因子共享
研究人员推出了一种用于大型语言模型的联邦学习新方法 FedAS-LoRA，该方法优化了低秩适应 (LoRA) 因子的共享。该方法分析 LoRA 的矩阵因子 A 和 B 的不对称作用，以确定跨客户端共享因子 A 或因子 B 是否能带来更好的微调性能。提出了一种新的指标，即感知秩共享子空间充分性 (RSS)，用于在训练开始前自适应地选择最佳共享策略。实验表明，在 RSS 的指导下，FedAS-LoRA 在各种任务和设置中均优于现有方法。
-
FedRot-LoRA 改进了大型语言模型的联邦学习
研究人员开发了 FedRot-LoRA，一个旨在提高大型语言模型联邦学习效率和稳定性的新框架。该方法解决了旋转失准问题，即语义等价的更新在不同客户端可能表示在不同的潜在子空间中，导致聚合错误。通过在聚合前通过正交变换对客户端更新进行对齐，FedRot-LoRA 在不增加通信成本的情况下保留了语义更新并减少了子空间不匹配。实验表明，FedRot-LoRA 在各种异质性水平和 LoRA 秩上均优于现有的联邦 LoRA 基线。