Prompt-Level Instrumentation

研究发现：LLM 监控工具会改变模型行为

用于监控大型语言模型 (LLM) 推理过程的工具可能会无意中改变模型的行为，这种现象被称为观察者效应。这种干扰通过三个主要渠道发生：修改模型输出分布的提示级工具、引入开销并改变执行时间的状态级日志记录，以及关注异常值并扭曲行为分析的选择性抽样偏差。为缓解此问题，研究人员建议通过比较有无完整日志记录的任务来获得可验证的诊断，并分析输出熵和工具调用序列等指标。推荐的方法是优先从可观察到的副作用中重建推理，而不是直接提取，以确保模型的行为不受污染。