Airy function

新框架使用可控记忆函数评估序列模型性能

研究人员开发了一个新的合成基准测试框架，用于评估各种序列建模架构的性能，包括循环神经网络、卷积模型、Transformers 和结构化状态空间模型。该框架利用由 \(\\alpha\) 参数化的可控记忆函数，生成具有特定时间结构（如指数衰减、多项式衰减、用于长程依赖的脉冲函数以及用于稀疏性的 Airy 函数）的合成数据集。使用该框架进行的实验证实了现有的理论见解，并揭示了关于这些模型的近似能力、优化动态和架构权衡方面的新发现。