Teacher Rollout Extension

新的TREX框架将大型PDE基础模型蒸馏为高效的学生模型

研究人员开发了一个名为Teacher Rollout Extension (TREX) 的新知识蒸馏框架，用于从大型基础模型中创建更高效的学生模型，以处理时变偏微分方程（PDE）。TREX从微调后的教师模型生成长的合成轨迹，以增强有限的下游数据，使学生模型能够学习长视界状态和局部恢复行为。这种方法使学生模型在参数显著减少和推理速度提高一个数量级以上的同时，能够达到与教师模型相当或更优的准确性。