一篇新的研究论文探讨了自回归 Transformer 理解和预测复杂混沌系统的能力，即使在有限数据上进行训练。研究表明，当这些模型接触到logistic映射或Lorenz系统等系统的受限参数范围时，它们能够以高保真度推断到未见的动力学。值得注意的是，一个 Transformer 模型为logistic映射重现了高达 128 周期的倍周期级联，与Feigenbaum常数非常接近，这表明对局部行为的狭窄观察足以让 Transformer 模型泛化到系统的全局组织。 AI
影响 展示了 Transformer 从有限数据中泛化复杂系统动力学的潜力，对科学建模和模拟产生影响。
排序理由 该集群包含一篇详细介绍自回归 Transformer 新能力的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Autoregressive Transformers
- Feigenbaum constants
- Generalized Hopf System
- Hugging Face
- logistic map
- Lorenz system
- Sine map
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
