English(EN) Geometric Factual Recall in Transformers

新理论表明Transformer使用几何记忆

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-12 17:22

研究人员提出了一个关于Transformer语言模型如何记忆事实信息的新理论，认为这是一种“几何”形式的记忆，而非传统的联想记忆。该模型提出，学习到的嵌入编码了关系结构，而MLP充当了关系条件选择器。对单层Transformer进行的实验表明，对数嵌入维度足以记忆随机双射，并且MLP学会了一种可转移到新事实的通用选择机制。 AI

影响提出了对LLM如何存储信息的新理解，可能导致更高效的模型架构。

排序理由详细介绍Transformer记忆新理论模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

Transformers

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Alberto Bietti · 2026-05-12 17:22

Transformers 中的几何事实回忆

How do transformer language models memorize factual associations? A common view casts internal weight matrices as associative memories over pairs of embeddings, requiring parameter counts that scale linearly with the number of facts. We develop a theoretical and empirical account…

报道来源 [1]

Transformers 中的几何事实回忆

相关实体

相关话题