研究人员引入了一种新颖的训练范式——Token-Level Off-Policy Labeling (TOPL),它将训练后任务重构为token级别正确性预测任务。该方法指导模型区分响应中正确和不正确的token,从而在不直接训练off-policy token的情况下提高生成质量。在文档摘要和机器翻译任务上的实验表明,TOPL在分布外泛化方面具有有效性,并且能够跨不同的忠实生成任务进行迁移。 AI
影响 这种新的训练方法可以提高生成式AI模型在各种任务中的可靠性和泛化能力。
排序理由 该集群描述了一篇介绍AI模型新训练范式的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →