PulseAugur
中
实时 07:16:24
English(EN) MLPs are Hebbians: Constructing Efficient Fact-Storing MLPs for Transformers

新理论解释LLM MLP中的最佳事实存储

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新的理论框架，用于理解多层感知机（MLP）如何在大型语言模型（LLM）中存储事实知识。这种构建表明，MLP可以以信息论最优的速率存储事实，这是现有模型先前无法解释的现象。新方法通过分析MLP的解码裕度来实现这一点，并且与先前的方法相比，所需的参数要少得多，同时也与用于事实回忆任务的Transformer架构兼容。 AI

影响 提供了对LLM中事实存储的理论理解，可能导致更高效的模型架构。

排序理由 这是一篇详细介绍LLM中MLP新理论构建的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新理论解释LLM MLP中的最佳事实存储

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Roberto Garcia, Jerry Liu, Ronny Junkins, Sabri Eyuboglu, Atri Rudra, Christopher R\'e ·

    MLPs are Hebbians: Constructing Efficient Fact-Storing MLPs for Transformers

    arXiv:2607.10034v1 Announce Type: new Abstract: Large language models (LLMs) store factual knowledge in their parameters. While recent work has shown that this knowledge resides in MLP layers, existing constructive and mechanistic interpretability models of fact-storage in LLMs f…

相关实体

相关话题