研究人员推出了一种用于时间序列基础模型(TSFM)的新型训练目标——合成数据蒸馏(SDD)。SDD通过将TSFM的输出与合成轨迹的条件预测分布进行比较,而不是仅仅与实际的未来值进行比较,来增强预训练。这种方法是一种Rao-Blackwellization形式,已在从400万到25亿参数不等的TSFM上进行了实证验证。结果表明,SDD能够更快地收敛验证损失,并且需要的训练迭代次数更少,在Gaussian Process数据上达到了相当或更优的性能。 AI
影响 加速了更强大的时间序列基础模型的开发和部署。
排序理由 详细介绍时间序列基础模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Gaussian Process
- Hugging Face
- Loewner partial ordering
- Rao-Blackwellization
- Synthetic Data Distillation
- Time Series Foundation Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →