Kinetics-inspired Neural Optimizer

新的优化器KO通过动力学理论增强神经网络精度

研究人员推出了一种新颖的神经网络优化模块KO（Kinetics-inspired Optimizer），该模块从动力学理论和偏微分方程中汲取灵感。这个即插即用的模块通过源自玻尔兹曼输运方程的随机相互作用来增强标准的梯度更新，旨在提高参数多样性并防止权重凝结，从而可能降低泛化能力。在CIFAR-10/100和ImageNet等图像分类基准以及大规模语言模型预训练上的理论分析和实验结果表明，与现有方法相比，KO在计算开销极小的情况下提高了准确性。