Alex Ning

使用PCA和UMAP可视化LLM潜在空间几何结构

研究人员开发了新的方法，通过采用PCA和UMAP等降维技术来可视化大语言模型（LLM）的内部几何结构。他们对GPT-2和LLaMa模型的分析揭示了独特的模式，包括中间层中注意力（attention）和MLP组件输出之间的分离。该研究还表征了初始序列位置的高范数（high-norm）潜在状态，并可视化了这些状态在不同层之间的演变，发现了GPT-2位置嵌入中的螺旋结构。