TRACE+17

新的HERD框架应对AI的持续学习挑战

研究人员推出了一种新颖的混合框架HERD（Harness-Evolving Recursive Distillation），旨在增强AI模型的持续学习能力。该方法结合了参数方法和类似线束（harnesses）和技能（skills）的非参数技术的优势，以减轻灾难性遗忘并提高可塑性。HERD优化技能以捕捉可重用模式，同时保留残差示例，并使用漂移约束蒸馏来内化经验，在25阶段的任务流上表现强劲。