\u00b5-centering

新方法通过解决输出嵌入几何问题来稳定大语言模型预训练

研究人员推出了一种名为输出嵌入中心化（OEC）的新策略，以稳定大语言模型（LLMs）的预训练。该方法通过分析输出嵌入的几何形状并确定各向异性嵌入是根本原因，从而解决了输出logit发散这一常见的训练不稳定性问题。OEC可以实现为一种称为μ-centering的确定性操作，或一种称为μ-loss的正则化技术，在实验测试中，这两种方法都表现出优于z-loss等现有方法的性能。