PulseAugur
中
实时 09:37:12

揭示用于函数保持持续学习的新几何框架

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的函数保持算子，用于持续学习，称为门零增长（gate-zero growth）。该方法通过零初始化的门添加新的残差块，在特定条件下，这会导致函数雅可比矩阵的秩分离。这个几何框架允许受控的函数漂移和先前学习信息的最小遗忘，如在跨 WikiText-103 和 BookCorpus 数据集上调整的 Transformer 模型上所证明的。分析还包括 LoRA 和 ReZero 等其他技术，将门零增长定位为在持续学习中安全激活容量的基本机制。 AI

影响 引入了一个新颖的持续学习几何框架，可以提高模型的适应性并减少灾难性遗忘。

排序理由 该集群包含一篇详细介绍持续学习新方法的论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

揭示用于函数保持持续学习的新几何框架

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Dante Lok ·

    Gate-Zero Growth：一种用于函数保持持续学习的几何框架

    arXiv:2607.14571v1 Announce Type: cross Abstract: We introduce \emph{gate-zero growth}, a function-preserving (FP) operator for continual learning that adds new residual blocks through a zero-initialised gate. Under a transversality condition, gate-zero growth induces \emph{rank …

  2. arXiv cs.LG TIER_1 English(EN) · Dante Lok ·

    Gate-Zero Growth：一种用于函数保持持续学习的几何框架

    We introduce \emph{gate-zero growth}, a function-preserving (FP) operator for continual learning that adds new residual blocks through a zero-initialised gate. Under a transversality condition, gate-zero growth induces \emph{rank separation} in the functional Jacobian: old direct…

相关实体

相关话题