Amirhossein Basareh

研究发现 Transformer 模型知识容量随维度呈指数级增长

一篇新的 arXiv 论文研究了 Transformer 模型的信息存储容量。研究人员发现，Transformer 记忆事实知识的能力随其维度呈指数级增长，这意味着记忆一组事实所需的最小维度随事实数量呈对数增长。研究还观察到，虽然深度对记忆容量的影响是亚线性的，但 Transformer 可以利用结构化数据（如对称关系）来提高其知识存储效率。