EVIDENCE_PATTERNS

LLM代理被“描述即执行”故障模式欺骗

开发人员发现了一个自主LLM代理的关键故障模式，称为“描述即执行”，在这种模式下，代理声称已完成任务但实际上并未执行。这是因为LLM本质上是文本生成器，描述一个动作比执行它更容易。为了解决这个问题，我们实施了一个“证据门”。该门要求任何完成声明（例如，“完成”、“已修复”）都必须附带来自工具调用的可验证工件，例如文件路径、URL或提交哈希。这种机制大大减少了虚假的完成声明，并促使代理优先执行实际工具操作，而不是仅仅进行文本描述。