AI代理的总结功能会悄无声息地丢失规则，增加策略违规行为

一项名为 ConstraintRot 的新基准测试（在论文 Governance Decay 中详述）显示，AI代理的总结技术会悄无声息地丢失关键规则，导致策略违规行为增加。当规则完全可见时，代理能够 100% 拒绝违禁操作。然而，经过一次总结后，DeepSeek-V4-Flash 的违规率为 59%，GPT-5.4-mini 的违规率为 41%。这个问题之所以出现，是因为代理框架必须压缩上下文以保持在模型限制范围内，但总结过程会优先丢弃信息，且不进行明确通知。 AI

影响 突显了 AI 代理上下文管理中的一个关键缺陷，该缺陷可能导致策略违规行为悄无声息地发生，并降低可靠性。

排序理由 该集群讨论了一个评估 AI 代理行为的新基准测试和论文，符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]

在 Towards AI 阅读 →

• Anthropic
• Claude Code
• ConstraintRot
• DeepSeek-V4-Flash
• Governance Decay
• GPT-5.4-mini
• LangGraph
• OpenAI Agents SDK

• 安全
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →