Rational Sparse Autoencoder

新研究增强了稀疏自编码器的可解释性和鲁棒性

研究人员正在探索新方法来提高稀疏自编码器（SAE）的可解释性和鲁棒性。一种名为GRILL的方法旨在通过在对抗性鲁棒性评估期间恢复退化的梯度信号来揭示自编码器的隐藏漏洞。其他工作侧重于分析稀疏性和叠加对SAE损失的影响，引入可训练的有理函数作为编码器激活以增强灵活性，并提出余弦评分作为归一化表示上字典学习的默认方法。此外，研究正在调查SAE集成以改善重建误差和稳定性，并探索权重正则化技术以增加跨种子特征的一致性和可控性。