研究人员开发了一个连续几何框架来模拟Transformer架构，将离散的代数运算转化为微分几何和测度论。该框架对注意力机制和优化动态等方面进行定量预测，并在包括Qwen3、LLaMA-3.1、Gemma-3、GPT-2和Mistral在内的五种不同模型架构上进行了测试。实验结果与几何预测高度一致，为理解大型语言模型的稳定极限和优化动态提供了新的描述性词汇。 AI
影响 为理解大型语言模型的行为提供了一个新的理论视角，可能指导未来的架构改进和优化策略。
排序理由 该集群描述了一篇提出Transformer架构理解理论框架的新学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.17146v1 Announce Type: cross Abstract: We present a continuous geometric framework that models the discrete algebraic operations of the Transformer architecture as an integro-differential equation (IDE) on a semantic fiber bundle $\calE = \calM \times \R^d$. Beginning …
We present a continuous geometric framework that models the discrete algebraic operations of the Transformer architecture as an integro-differential equation (IDE) on a semantic fiber bundle calE = calM times R^d. Beginning from a single geometric axiom -- that the token sequence…