Wentworth

LessWrong 网站上关于 AI 可解释性训练有效性的讨论

LessWrong 网站上的一场讨论探讨了针对可解释性探针训练 AI 模型的效果。作者认为，只有当可解释性方法使用的特征比它们旨在检测的不良行为更能抵抗优化时，这种训练才是有益的。其有效性取决于模型在不阻碍自身认知过程的情况下隐藏相关特征的能力，以及这些特征的优化压力强度。文章提出，虽然针对探针进行训练可能存在问题，但在完全否定该技术之前，应考虑可解释性特征鲁棒性的“连贯叙事”。