Temporal Distribution Shift

神经网络架构对时间数据偏移的鲁棒性各不相同

一篇新发表在arXiv上的研究论文，探讨了不同的神经网络架构如何应对时间分布偏移（即真实世界数据随时间变化导致模型性能下降的现象）。该研究系统地比较了多层感知机、卷积神经网络、循环神经网络和基于Transformer的编码器等多种模型家族，应用于图像分类、文本分类和文本回归任务。研究结果表明，依赖高度特定特征的架构往往下降更快，而使用更广泛、更稳定表示（如预训练编码器）的架构则对这些时间偏移表现出更强的鲁棒性。