PulseAugur
中
实时 12:38:51
实体 AdaFRUGAL

AdaFRUGAL

PulseAugur coverage of AdaFRUGAL — every cluster mentioning AdaFRUGAL across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_10117 ·

    AdaFRUGAL论文介绍了用于内存高效LLM训练的动态控制

    研究人员开发了AdaFRUGAL，一个旨在提高大型语言模型（LLM）训练内存效率的新框架。与之前需要手动调整超参数的方法不同，AdaFRUGAL使用动态控制来自动化这一过程。它采用子空间比率的线性衰减和用于更新频率的感知损失调度，已被证明可以在减少GPU内存和训练时间的同时保持具有竞争力的性能。