PulseAugur
实时 16:46:36
实体 Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

PulseAugur coverage of Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning — every cluster mentioning Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_93608 ·

    新研究探究 AI 模型中的灾难性遗忘 · 追踪 4 个来源

    三篇新研究论文探讨了持续学习系统中灾难性遗忘的现象,特别是在大型语言模型中。第一篇论文引入了一个受控框架来研究遗忘机制,提出表示强度和特征稀疏性起着关键作用,而不仅仅是叠加。第二篇和第三篇论文(似乎是相同的)在神经切线核(NTK)框架下提供了一个函数空间理论,提出遗忘是低秩的,并集中在特定的输出空间方向。第四篇论文对二十个最先进模型进行了机制分析,识别了脆弱的神经回路,并引入了一种名为低秩电路投影(LRCP)的新干预措施来减轻遗忘。