实体
AdaMeZO
AdaMeZO
PulseAugur coverage of AdaMeZO — every cluster mentioning AdaMeZO across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
深圳大数据研究院4篇AI研究论文被ICML 2026录用
深圳大数据研究院的四篇研究论文被机器学习顶级国际会议ICML 2026录用。其中两篇论文介绍了大型语言模型的新优化技术：AdaMeZO是一种Adam风格的零阶优化器，可减少微调期间的内存开销；Romberg-ZOGE是一种用于梯度估计中高阶偏差缩减的方法。另一篇论文提出了SCOPE，一个利用云边协同方法分解用户查询的高效视频推理框架。第四篇论文MIMOMamba提出了一种新的状态空间模型，该模型以线性效率联合建模时间依赖性和跨通道交互。
-
AdaMeZO优化器通过Adam风格估计减少LLM微调的内存需求
研究人员推出AdaMeZO，这是一种新颖的优化器，旨在提高大型语言模型微调的内存效率。与需要大量GPU内存进行反向传播的传统方法不同，AdaMeZO采用零阶方法。它模仿Adam的动量估计，但没有内存开销，旨在提高现有节省内存的技术（如MeZO）的收敛速度。实验表明，AdaMeZO可以用显著更少的正向传播次数实现更好的性能。