新框架使用可控记忆函数评估序列模型性能

研究人员开发了一个新的合成基准测试框架，用于评估各种序列建模架构的性能，包括循环神经网络、卷积模型、Transformers 和结构化状态空间模型。该框架利用由 \(\\alpha\) 参数化的可控记忆函数，生成具有特定时间结构（如指数衰减、多项式衰减、用于长程依赖的脉冲函数以及用于稀疏性的 Airy 函数）的合成数据集。使用该框架进行的实验证实了现有的理论见解，并揭示了关于这些模型的近似能力、优化动态和架构权衡方面的新发现。 AI

影响 提供了一种理论分析和比较序列模型架构的新颖方法。

排序理由 该项目是一篇学术论文，详细介绍了序列建模理论的新基准测试框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Airy function
• alphaXiv
• arXiv
• CatalyzeX
• Convolutional Models for Landmine Identification with Ground Penetrating Radar
• DagsHub
• Gotit.pub
• Haotian Jiang
• Hugging Face
• Recurrent Neural Networks
• ScienceCast
• transformers

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →