NorMuonAndAdam

新的FARO优化器通过重新分配风险预算来改进LLM训练

研究人员推出了一种新颖的优化框架FARO，旨在改进大型语言模型的训练。FARO将参数块视为基本单元，根据其反事实回报动态分配几何形状，从而调整优化过程。这种方法使用类似于投资组合理论的风险平价原则来重新分配更新预算。在GPT风格模型在FineWeb数据集上的实验中，FARO的自适应臂与现有手工设计方法的性能相当，而其ERC变体在多个种子上的损失减少方面取得了适度但持续的改进。