PulseAugur
中
实时 16:27:18
实体 Toy Models of Superposition

Toy Models of Superposition

PulseAugur coverage of Toy Models of Superposition — every cluster mentioning Toy Models of Superposition across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_355246 ·

    AI模型使用高维嵌入来获得丰富的词语表示

    AI模型,特别是Transformer模型,利用高维嵌入来表示单词及其上下文含义。虽然人类直观上理解3个维度,但AI模型在具有数百甚至数千个维度的空间中运行,例如原始Transformer架构中的512个维度。这些维度虽然不能直接解释为特定概念,但允许模型编码有关token及其关系的丰富信息。叠加原理进一步增强了这种能力,通过允许多个概念在激活空间中重叠,使神经网络能够表示比其神经元数量更多的特征。

  2. TOOL · CL_166322 ·

    研究发现 MSE 损失会阻碍神经网络中的叠加

    研究人员已经证明,均方误差(MSE)损失在训练神经网络以在叠加中编码特征方面是无效的,这种技术是指表示的特征多于神经元的数量。这一发现得到了数学分析和实验证据的支持,表明 MSE 损失不会激励网络利用叠加。作者建议在玩具模型或其他应用中以实现叠加为目标时,使用对数损失等替代损失函数。