Context Staircase

新研究揭示了 token 嵌入中的几何偏差及其对语言模型训练的影响

三篇新的 arXiv 论文探讨了语言模型中 token 嵌入的几何和统计特性。第一篇论文在 token 嵌入表的原点附近发现了一个“短行中心”，它会夸大内在维度估计值，并表明移除该中心可以使 GPT-2、K3 和 GLM-4.7 等模型的维度读数更加一致。第二篇论文引入了“上下文阶梯”概念，描述了嵌入如何随着训练的进展逐步学习更复杂、依赖于上下文的统计特征。第三篇论文开发了一个将 token 预测与表示几何联系起来的统计框架，展示了预…