Reward-Informed Sparse Autoencoder

稀疏自编码器显示奖励过滤捕获了解的完整性，而非推理质量

研究人员开发了一种奖励信息稀疏自编码器（RI-SAE）来解释语言模型激活，特别是关注推理能力。虽然 RI-SAE 成功地将 Llama-3.1-8b 中的高奖励和低奖励推理轨迹分开，但进一步的分析表明，这种分离主要是由于解的完整性，而不是真正的推理质量。对照实验表明，即使是简单的 TF-IDF 分类器和诸如答案框之类的结构线索也能达到相似的区分能力，这表明奖励过滤是一种有效的但肤浅的解释方法。