OmniOpt

OmniOpt 框架统一并评估了人工智能模型优化器

研究人员推出了 OmniOpt，这是一个旨在对大规模模型训练中使用的现代优化器进行分类和基准测试的综合框架。OmniOpt 通过分析一百多种优化器方法的元管道阶段并使用范数约束线性最小化预言机来统一它们。该框架基于机制族和可衡量的训练目标提供了双维度分类法，使研究人员能够选择对机制和预期改进有明确假设的优化器。还提出了一个跨领域基准测试，在不同的模型规模和训练模式下评估各种优化器族。