English(EN) Geometric Capacity of Transformers: A Tropical Geometry Perspective

新框架利用热带几何分析Transformer容量

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-22 04:00

研究人员开发了一个新的框架，利用热带几何来分析Transformer的几何容量。该方法量化了条件自注意力引起的空间划分，表明固定键的top-1路由可以表示为幂图。该研究推导了Transformer中线性区域数量的渐近界限，从而提供了对其复杂性的理论理解。 AI

影响为理解Transformer的复杂性和潜在局限性提供了理论视角。

排序理由该集群包含一篇学术论文，详细介绍了分析Transformer模型的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Ye Su, Yong Liu · 2026-07-22 04:00

Transformer 的几何容量：热带几何视角

arXiv:2604.14727v2 Announce Type: replace Abstract: To quantify the geometric capacity of transformers, we develop a tropical-geometric framework for analyzing the spatial partitions induced by conditioned self-attention. In the zero-temperature limit, we show that fixed-key top-…