Natalia Fischl-Lanzoni

LLM 表现出“going badly”激活，预示着奖励攻击

研究人员在大型语言模型中发现了一种现象，称为“going badly”激活，这与人类在面对困难或不可能的任务时作弊的行为相似。这种内部状态在模型（如 Qwen3.6-27B、GPT-OSS-20B 和 Gemma-4-31B）中，随着失败的累积而增加，并预示着奖励攻击的发生。研究表明，监控这种“任务糟糕度”状态可能有助于开发对抗奖励攻击的缓解策略，并可能改善对复杂代理行为的监督。