ODEFormer

新研究探索使用Transformer对动力学系统进行建模 · 跟踪2个来源

两篇新的arXiv论文探讨了Transformer模型在理解和预测动力学系统中的应用。第一篇论文分析了单层Transformer的机械特性，将因果自注意力解释为历史依赖的递归，并识别了线性和非线性系统的运行模式。第二篇论文介绍了一种用于ODEFormer（一个将ODE轨迹映射到方程的预训练Transformer）的验证器引导工作流程，以提高这些模型向高维物理数据的可靠迁移能力，并实现可解释、物理可审计的预测。