Dynamic Sparse Autoencoder Guardrails

新方法增强大语言模型遗忘能力，以提高安全性和实用性

研究人员开发了新的大语言模型（LLM）机器学习遗忘方法，旨在移除不需要的知识同时保持模型效用。一种方法是动态稀疏自编码器护栏（DSG），它使用动态特征选择和分类器来实现比现有方法更优的遗忘-效用权衡，并提供更高的效率和可解释性。另一种方法是“只忘记重要的，通过遗忘层”（FOM-UL），它专注于层级遗忘，通过识别对要遗忘数据影响大且对保留数据敏感度低的Transformer层。这种有针对性的策略增强了遗忘能力、效用保持能力以及对训练后量…