Context Staircase

新研究揭示了词嵌入的几何偏差及其对语言模型训练的影响

三篇新的arXiv论文探讨了语言模型中词嵌入的几何和统计特性。第一篇论文识别出词嵌入表中靠近原点的“短行中心”，该中心膨胀了内在维度估计，并表明移除该中心可以使GPT-2、K3和GLM-4.7等模型获得更一致的维度读数。第二篇论文引入了“上下文阶梯”概念，描述了嵌入在训练过程中如何逐步学习到更复杂、依赖于上下文的统计特征。第三篇论文开发了一个将词预测与表示几何联系起来的统计框架，展示了预测准确性和恢复的几何如何转化为下游任务性能。