Sunit Bhattacharya

新的几何分析揭示Transformer深度的规律性

研究人员开发了一个新颖的几何分析框架来研究Transformer模型的内部工作机制。该方法量化了表示在层之间如何移动，并将这些移动分为刚性旋转和非刚性残差。分析显示，在六个指令微调模型中存在一致的与深度相关的模式，相对位移在早期和晚期层更大，并且在模型内的不同任务之间几乎稳定。研究还观察到，与英语目标相比，非英语语言生成导致了更大的末层位移和残差。