Mikolov et al.

AI模型使用高维嵌入来获得丰富的词语表示

AI模型，特别是Transformer模型，利用高维嵌入来表示单词及其上下文含义。虽然人类直观上理解3个维度，但AI模型在具有数百甚至数千个维度的空间中运行，例如原始Transformer架构中的512个维度。这些维度虽然不能直接解释为特定概念，但允许模型编码有关token及其关系的丰富信息。叠加原理进一步增强了这种能力，通过允许多个概念在激活空间中重叠，使神经网络能够表示比其神经元数量更多的特征。