Simmer

新研究揭示了 LLM Agent 中关键的潜在和隐蔽失败模式

两篇新研究论文强调了大型语言模型 (LLM) Agent 的关键失败模式。第一篇论文“SIMMER”引入了一个用于识别 LLM 规划中“潜在失败”的基准，揭示即使是先进的模型，其生成无错误计划的成功率也低于 17%，其中一半以上包含隐蔽的、不可逆的错误。第二篇论文“当错误变成叙事时”分析了生产环境中 LLM Agent 运行时的隐蔽失败，对其进行了分类，并指出 LLM 可以将错误转化为看似合理但具有误导性的叙事。一篇相关文章讨论了生产…