Soham Gadgil

集成稀疏自编码器增强神经网络可解释性

研究人员引入并形式化了集成稀疏自编码器（SAE）的概念，以提高神经网络特征的可解释性和实用性。该方法解决了单个SAE仅捕获可提取特征子集的局限性。通过朴素装袋（bagging）和提升（boosting）组合多个SAE，集成方法被证明可以减少重构误差并增强特征提取的稳定性。在语言模型上的实证评估表明，SAE集成在重构激活方面优于扩展SAE，并在概念检测和虚假相关性去除等下游任务上取得了更好的性能。