Bi-Maxwell

新的物理启发模型旨在优化大型语言模型训练

研究人员开发了一个新的理论框架，用于理解和改进大型语言模型（LLM）优化器，超越了经验调优，转向了物理启发模型。该方法将LLM的权重矩阵视为具有记忆的响应介质，解释了为什么某些更新规则（如Muon）有效以及动量应该平均多长时间。基于此模型，他们提出了Bi-Maxwell优化器，该优化器包含一个双时间尺度记忆核，并在LLM基准测试中显示出更高的训练效率。