研究人员发现时间序列基础模型(TSFM)中存在一个关键问题,即标准的混合专家(MoE)适配器因“归一化引起的路由崩溃”而失效。这种现象发生的原因是预编码器归一化剥离了路由器区分不同数据模式所必需的关键统计信息。所提出的解决方案,原始路由适配器混合(RR-MoA),通过在原始的、预归一化输入上进行路由来进行干预,从而有效地绕过了这种崩溃。实验表明,在使用冻结骨干网络时,RR-MoA 的性能显著优于现有的适配器方法,甚至优于完全微调,这一结果被称为“冻结悖论”。 AI
影响 引入了一种新颖的适配器技术,通过解决特定的路由崩溃问题,提高了时间序列基础模型的性能和效率。
排序理由 详细介绍时间序列基础模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AdaMix
- instance-normalized backbones
- LoRA+
- normalization-induced routing collapse
- Raw-Routed Mixture of Adapters
- RR-MoA
- Spearman
- Time Series Foundation Models
- Trace
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →