activation oracle

新的CHIVE流水线使用反事实实验评估LLM解释

研究人员开发了CHIVE，一个旨在通过反事实提示编辑来识别和解释大型语言模型（LLM）意外行为的代理流水线。该系统生成的数据将观察到的模型行为与提出的解释及其支持性的反事实实验配对。使用这些数据进行的评估表明，与仅处理文本记录的代理相比，当前的激活读取可解释性工具并不能提高预测准确性。然而，在CHIVE生成的数据上训练以预测提示编辑影响的模型，显示出更强的泛化能力。