PulseAugur
中
实时 12:19:11
English(EN) Distillation of Foundation Models for Time-dependent PDEs

新的TREX框架将大型PDE基础模型蒸馏为高效的学生模型

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一个名为Teacher Rollout Extension (TREX) 的新知识蒸馏框架，用于从大型基础模型中创建更高效的学生模型，以处理时变偏微分方程（PDE）。TREX从微调后的教师模型生成长的合成轨迹，以增强有限的下游数据，使学生模型能够学习长视界状态和局部恢复行为。这种方法使学生模型在参数显著减少和推理速度提高一个数量级以上的同时，能够达到与教师模型相当或更优的准确性。 AI

影响 能够创建更小、更快的AI模型用于科学模拟，有可能加速依赖PDE求解器的领域的研究和开发。

排序理由 该集群描述了一篇研究论文，详细介绍了在科学计算机器学习领域进行知识蒸馏的新方法。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的TREX框架将大型PDE基础模型蒸馏为高效的学生模型

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Daniel Musekamp, Boshra Ariguib, Andrei Manolache, Mathias Niepert ·

    Foundation Models for Time-dependent PDEs的蒸馏

    arXiv:2608.11937v1 Announce Type: new Abstract: Foundation models for time-dependent partial differential equations (PDEs) are trained on large and diverse collections of physical systems and can generalize effectively to new downstream tasks. After fine-tuning on only a few traj…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    Foundation Models for Time-dependent PDEs的蒸馏

    Foundation models for time-dependent partial differential equations (PDEs) are trained on large and diverse collections of physical systems and can generalize effectively to new downstream tasks. After fine-tuning on only a few trajectories from a target domain, they can achieve …

相关实体

相关话题