Architecture-driven Shift

新框架估算logit偏移以进行持续学习模型选择

研究人员开发了一个名为架构驱动转变（ADS）的新框架，用于在持续学习场景中高效估算logit偏移。该方法解决了传统logit偏移计算的计算成本问题，这种成本对于大规模模型选择来说是 prohibitive 的。ADS将logit偏移解耦为架构和数据依赖性，从而能够用更少的数据样本进行准确预测。对超过175个架构进行的广泛实验表明，ADS与logit偏移之间存在很强的相关性，证明了其作为可靠持续学习模型选择中预期校准误差的轻量级代理的实用性。