实体
MLP layers
MLP layers
PulseAugur coverage of MLP layers — every cluster mentioning MLP layers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新理论解释LLM MLP中的最佳事实存储
研究人员开发了一个新的理论框架，用于理解多层感知机（MLP）如何在大型语言模型（LLM）中存储事实知识。这种构建表明，MLP可以以信息论最优的速率存储事实，这是现有模型先前无法解释的现象。新方法通过分析MLP的解码裕度来实现这一点，并且与先前的方法相比，所需的参数要少得多，同时也与用于事实回忆任务的Transformer架构兼容。
-
Aurora 优化器提升神经网络训练效率
研究人员推出 Aurora，这是一种旨在改进大型神经网络训练的新优化器，特别适用于具有矩形矩阵的神经网络。Aurora 解决了现有优化器（如 Muon）在 MLP 层中可能出现的神经元死亡问题，尤其是在应用行归一化时。通过结合感知杠杆率和保持正交性，Aurora 展现出显著的数据效率，在开源互联网数据上实现了 100 倍的提升，并在通用评估中超越了更大的模型。该优化器被呈现为一个几乎没有开销的即插即用替代品，并且其代码已开源。