PulseAugur
中
实时 07:06:38
实体 snapshot distillation

snapshot distillation

PulseAugur coverage of snapshot distillation — every cluster mentioning snapshot distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_360134 ·

    模型退火训练方法提高了数据效率和鲁棒性

    研究人员推出了一种名为模型退火的新型训练技术,旨在提高机器学习的数据效率。该方法将训练分为多个阶段,学习率会先增加然后降低,每个降低后的状态都会存储在过去的网络迭代记忆中。然后,网络会从自身的知识中重新学习,结合原始标签和该记忆中的预测,特别是在学生模型和记忆模型不一致的地方。与标准的交叉熵训练和快照蒸馏相比,该方法在各种架构和数据集上都显示出准确性、校准性和鲁棒性的提高。