Mechanistic Localization

新框架可根据SFT前参数预测SFT后模型行为

研究人员开发了一个新颖的框架，仅使用SFT前参数即可预测监督微调（SFT）后模型的机制。这种前瞻性方法解决了传统可解释性方法的局限性，这些方法通过回顾性分析模型可能导致误导性结论。通过将SFT建模为连续的参数演变并采用泰勒展开，该框架准确估计了SFT后的可解释性状态，从而更有效地指导SFT。实验表明，该方法改进了SFT指导，表现出稳健的性能，并能随模型规模扩展，开创了一种将可解释性与目标优化相结合的预测方法。