研究人员开发了新的激活函数，Smooth-Leaky 和 Randomized Smooth-Leaky，以解决持续学习模型中可塑性丧失的问题。这些函数旨在维持模型在不遗忘先前知识的情况下适应新信息的能力。研究表明，深思熟虑的激活函数设计是一种简单、领域通用的维持可塑性的方法，无需额外的容量或特定任务的调整。 AI
影响 在持续学习环境中引入了一种轻量级、领域通用的方法来维持模型的可塑性。
排序理由 这是一篇研究论文，详细介绍了持续学习激活函数设计的创新方法。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2509.22562v4 Announce Type: replace-cross Abstract: In independent, identically distributed (i.i.d.) training regimes, activation functions have been benchmarked extensively, and their differences often shrink once model size and optimization are tuned. In continual learnin…