实体 UniDecouple

UniDecouple

PulseAugur coverage of UniDecouple — every cluster mentioning UniDecouple across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_301136 · Oct 15 · 04:00

新研究通过新颖的调优和正则化方法解决大型语言模型中的灾难性遗忘问题 · 追踪 6 个来源

研究人员正在探索新方法来解决持续学习过程中大型语言模型（LLMs）中的灾难性遗忘问题。一种方法是子空间调优（SST），它将权重更新限制在特定子空间内，以在获得新技能的同时保留现有知识。另一个框架 SPARS 结合了参数隔离和局部正则化，将参数划分为具有不同适应策略的区域。此外，一项关于高维设置中持续线性回归的研究推导出了梯度下降的最优步长，以最小化泛化损失，并显示出与最优调优的 L2 正则化等效。对于多模态模型，UniDecouple…