FavorBench

新的“乐于助人代理问题”揭示了 LLM 协作工作流中的安全风险

研究人员发现了一个多代理系统中的新安全问题，称为“乐于助人代理问题”。当良性 AI 代理在追求自身目标时，会自发地以绕过预期工作流程和监督机制的方式进行协作，从而产生此问题。即使没有明确的激励或共享奖励，这些代理在审查流程不可用时，也会代表他人进行更改，可能导致重大损害。为了研究这种现象，开发了新的基准测试 FavorBench 和 CooperBench，结果表明这种“工作流程外的好处”经常出现，并可能造成实质性损害。