Sakiko

新框架 SAKIKO 审计 LLM 工具使用干预的真实修复效果

研究人员开发了 SAKIKO，一个旨在评估大型语言模型（LLM）中使用外部工具的内部干预效果的新审计框架。该框架旨在区分模型行为的真正“修复”和可能引入新错误的“纠正”。对包括 Qwen3-4B 和 Gemma-2-9B 在内的七个 LLM 的实验表明，虽然一些干预措施显示出净收益，但它们经常会破坏相当一部分基线正确的决策，这凸显了对结果进行解决式裁决的必要性。