Manifold Muon

Transformer几何探索：模块特定优化与表示轨迹

两篇新研究论文探讨了Transformer模型的内部几何结构，重点关注表示在层间的演变方式。一篇论文研究了用于优化的模块特定权重空间几何，发现为GPT-2中的注意力层和MLP层分配不同的流形约束可以提高性能和稳定性。另一篇论文分析了表示的轨迹几何，使用长度、曲率和收敛性等指标来理解语义相关的提示如何演变，揭示了不同的处理阶段，并将曲率与GPT-2、TinyLlama和Qwen2.5的计算复杂度相关联。