实体
Toy Models of Superposition
Toy Models of Superposition
PulseAugur coverage of Toy Models of Superposition — every cluster mentioning Toy Models of Superposition across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
AI模型使用高维嵌入来获得丰富的词语表示
AI模型,特别是Transformer模型,利用高维嵌入来表示单词及其上下文含义。虽然人类直观上理解3个维度,但AI模型在具有数百甚至数千个维度的空间中运行,例如原始Transformer架构中的512个维度。这些维度虽然不能直接解释为特定概念,但允许模型编码有关token及其关系的丰富信息。叠加原理进一步增强了这种能力,通过允许多个概念在激活空间中重叠,使神经网络能够表示比其神经元数量更多的特征。
-
研究发现 MSE 损失会阻碍神经网络中的叠加
研究人员已经证明,均方误差(MSE)损失在训练神经网络以在叠加中编码特征方面是无效的,这种技术是指表示的特征多于神经元的数量。这一发现得到了数学分析和实验证据的支持,表明 MSE 损失不会激励网络利用叠加。作者建议在玩具模型或其他应用中以实现叠加为目标时,使用对数损失等替代损失函数。