实体 AdaLeZO

AdaLeZO

PulseAugur coverage of AdaLeZO — every cluster mentioning AdaLeZO across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_05407 · Apr 20 · 13:37

AdaLeZO 通过自适应层采样加速 LLM 微调

研究人员开发了 AdaLeZO，一个旨在提高大型语言模型微调的零阶 (ZO) 优化效率的新框架。该方法通过动态地将计算资源分配给模型中最敏感的层，解决了 ZO 通常伴随的收敛速度慢和方差大的问题。AdaLeZO 可作为即插即用模块，在不增加内存使用量的情况下，将现有 ZO 优化器的速度提高高达 3.0 倍。