实体 LoRA-GA^2

LoRA-GA^2

PulseAugur coverage of LoRA-GA^2 — every cluster mentioning LoRA-GA^2 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_211198 · Aug 20 · 14:31

新的LoRA-GA^2算法增强大型模型微调

研究人员推出LoRA-GA^2，这是一种新颖的微调算法，旨在改进现有大型模型的低秩适应（LoRA）方法。这种新方法利用了多步梯度信息（以前的方法未能完全捕捉），以更好地使LoRA更新与完全微调的结果保持一致。LoRA-GA^2包含一个轻量级多步梯度探测器、一个感知频谱的秩分配以及最优初始化，所有这些都不会增加GPU内存使用量。实验结果表明，LoRA-GA^2在GLUE、GSM8K和HumanEval等基准测试中优于其他LoRA变体。