Sats

新的SATS方法提高了时间序列基础模型的预训练效率

研究人员推出了一种新颖的时间序列基础模型预训练方法SATS，该方法旨在处理具有不同采样频率的异构数据集。SATS采用了一种具有尺度感知的令牌对齐机制，将块大小明确视为一个尺度，并使用受对比学习启发的正则化器来对齐不同尺度下的表示空间。此外，一种混合掩码策略结合了随机和连续掩码，以更好地捕捉多尺度时间结构。在LSTF基准测试上的实验表明，SATS比现有方法在MSE上提高了9.2%，在MASE上提高了8.3%，同时模型效率也提高了65.6%。