PulseAugur
中
实时 10:40:41
实体 Sample-Adaptive Zeroth-Order Optimization

Sample-Adaptive Zeroth-Order Optimization

PulseAugur coverage of Sample-Adaptive Zeroth-Order Optimization — every cluster mentioning Sample-Adaptive Zeroth-Order Optimization across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_294535 ·

    新的SAZO方法通过自适应样本选择加速LLM微调

    研究人员推出了一种名为样本自适应零阶优化（SAZO）的新型方法，用于微调大型语言模型，该方法改进了现有的零阶（ZO）优化技术。与对训练样本进行均匀采样的传统ZO方法不同，SAZO在线自适应地学习样本重要性，将更多查询分配给关键样本以加速收敛。该方法提取梯度范数信息来估计样本重要性，而无需真实梯度，并维护每个样本的移动平均值以跟踪不断变化的样本重要性。实验表明，SAZO在各种模型家族中实现了更快的收敛速度和更优的下游性能。