研究人员开发了一个名为架构驱动转变(ADS)的新框架,用于在持续学习场景中高效估算logit偏移。该方法解决了传统logit偏移计算的计算成本问题,这种成本对于大规模模型选择来说是 prohibitive 的。ADS将logit偏移解耦为架构和数据依赖性,从而能够用更少的数据样本进行准确预测。对超过175个架构进行的广泛实验表明,ADS与logit偏移之间存在很强的相关性,证明了其作为可靠持续学习模型选择中预期校准误差的轻量级代理的实用性。 AI
影响 引入了一种更高效的持续学习模型选择方法,有望加速该领域的研发。
排序理由 学术论文,介绍了一个用于持续学习的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →