实体 ISO-LoRA

ISO-LoRA

PulseAugur coverage of ISO-LoRA — every cluster mentioning ISO-LoRA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_252051 · Sep 14 · 04:00

新的 ISO-LoRA 优化器提升了 LLM 参数高效适应性

研究人员推出了一种新颖的优化技术 ISO-LoRA，旨在提高低秩适应（LoRA）在大语言模型上的效率。与仅关注参数预算秩的传统 LoRA 方法不同，ISO-LoRA 考虑了优化器如何影响秩的利用。通过 GPT-2 实验观察到，AdamW 等优化器通常会导致有效秩较低的更新，而一种名为 Muon 的新优化器则利用了更多方向。ISO-LoRA 通过对权重空间中诱导的切线扰动应用谱下降来耦合 LoRA 因子更新，从而在奇异方向上更均匀地分配…