Base Optimizer

新框架展示神经网络优化器之间的等价性

研究人员提出了HyperTransfer，一个新颖的框架，证明了在神经网络优化中Hyperball和基础优化器之间的动态等价性。这种等价性使得HyperTransfer仅通过目标基础优化器的初始化和学习率计划就能准确地重现其动态，而无需运行目标优化器本身。该框架已扩展到非尺度不变网络，实验表明HyperTransfer及其逆映射产生的损失轨迹几乎与其目标优化器相同。