PulseAugur
中
实时 11:48:47
实体 Sparse Autoencoder Feature Distillation

Sparse Autoencoder Feature Distillation

PulseAugur coverage of Sparse Autoencoder Feature Distillation — every cluster mentioning Sparse Autoencoder Feature Distillation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_51392 ·

    新方法解决大型语言模型中的灾难性遗忘问题

    研究人员开发了一种名为稀疏自编码器特征蒸馏（SAE-FD）的新方法，以对抗大型语言模型在持续学习过程中出现的灾难性遗忘问题。该方法利用预训练稀疏自编码器的稀疏特征空间来解耦学习到的概念，从而实现更精确的正则化。实验表明，SAE-FD在持续学习基准测试中显著优于现有的正则化技术，在最小的负迁移下提高了准确性。