PulseAugur
中
实时 14:08:35
实体 additive token noise

additive token noise

PulseAugur coverage of additive token noise — every cluster mentioning additive token noise across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_358374 ·

    新方法通过输入扰动提升语言模型蒸馏效果

    研究人员开发了一种新方法,通过扰动教师模型的输入来改进语言模型的知识蒸馏。该技术通过向 token 添加噪声或混合文档,在预训练蒸馏中显示出显著的收益,准确率比标准蒸馏提高了高达 1.45 倍。改进后的学生模型在下游迁移任务中也表现更好,在七项任务的零样本准确率上提高了 1 个百分点。