PulseAugur
实时 16:12:21
实体 Training-Trajectory-Aware Token Selection

Training-Trajectory-Aware Token Selection

PulseAugur coverage of Training-Trajectory-Aware Token Selection — every cluster mentioning Training-Trajectory-Aware Token Selection across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_44826 ·

    新的T3S方法提高了LLM蒸馏效率

    研究人员开发了一种名为训练轨迹感知令牌选择(T3S)的新方法,以提高从大型语言模型中蒸馏知识的效率。该技术解决了在蒸馏过程中性能指标下降但损失值却在降低的常见问题。T3S通过在令牌级别重建训练目标来工作,这有助于清除仍在学习的令牌的优化路径。该方法在各种设置中都显示出持续的收益,T3S训练的模型在同等规模的模型中取得了最先进的性能。