PulseAugur
中
实时 09:01:03
实体 Recall-Anchored Distillation

Recall-Anchored Distillation

PulseAugur coverage of Recall-Anchored Distillation — every cluster mentioning Recall-Anchored Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_215877 ·

    新方法解决LLM SFT后的事实访问失败问题

    研究人员发现了一种现象，称为事实访问失败，发生在大型语言模型经过监督微调（SFT）之后。当模型在约束性评估中仍能识别正确答案，但在开放式任务中却无法生成时，就会出现这种情况。为了解决这个问题，引入了一种名为召回锚定蒸馏（Recall-Anchored Distillation, RAD）的新方法。RAD使用基于基础模型的自蒸馏目标，通过将适配模型与原始基础模型在无标签文本上的软续写分布对齐，来维持分布外生成行为。