实体 BookCorpus

BookCorpus

PulseAugur coverage of BookCorpus — every cluster mentioning BookCorpus across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_147469 · Jul 16 · 05:00

揭示用于函数保持持续学习的新几何框架

研究人员推出了一种新颖的函数保持算子，用于持续学习，称为门零增长（gate-zero growth）。该方法通过零初始化的门添加新的残差块，在特定条件下，这会导致函数雅可比矩阵的秩分离。这个几何框架允许受控的函数漂移和先前学习信息的最小遗忘，如在跨 WikiText-103 和 BookCorpus 数据集上调整的 Transformer 模型上所证明的。分析还包括 LoRA 和 ReZero 等其他技术，将门零增长定位为在持续学习中…