Toto-2.0-1B

新的HART模型结合了Attention和RWKV，以改进时间序列预测

研究人员开发了HART，一种新颖的时间序列基础模型，它结合了Attention和RWKV模块，以改进长视界预测。该模型解决了纯RWKV模型在没有新数据的情况下预测遥远未来时观察到的性能下降问题，他们称之为Placeholder Idling Decay (PID)。在GIFT-Eval和TIME-Benchmark上的实验表明，HART在某些指标上优于纯RWKV，并能媲美一个规模大得多的Transformer模型的性能，同时使用的参数却少得多。