PBK

新的SAE方法增强了可解释性和特征学习

研究人员引入了增强稀疏自编码器（SAE）的新方法，SAE是一种用于解释神经网络激活的工具。一种方法，即有理稀疏自编码器（RSAE），用可训练的有理函数替换固定的激活函数，从而提高了重构和下游行为指标。另一项开发提出了SAE的余弦评分，它通过关注方向一致性而不是原始激活幅度，特别是对于归一化表示，更好地将学习到的特征与可识别的概念对齐。此外，还正式化了一种集成SAE的技术，与单个SAE或扩展版本相比，该技术显示出更高的重构准确性和稳定性。