实体 Yiqiao Qiu

Yiqiao Qiu

PulseAugur coverage of Yiqiao Qiu — every cluster mentioning Yiqiao Qiu across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_340253 · Nov 4 · 05:00

新的LLM持续学习方法缓解了灾难性遗忘

研究人员开发了一种名为“用于LLM持续学习的多教师策略内蒸馏回放”（MOPD）的新方法，以解决大型语言模型中的灾难性遗忘问题。该方法通过在顺序训练期间使用先前的学生模型作为早期领域的教师，避免了存储多个专家模型快照。在五个领域的基准测试中进行的实验表明，与联合MOPD相比，这种回放策略显著缩小了性能差距，甚至可以匹配存储所有快照的流水线的性能。