Agentic Formalism Trap

新研究识别出LLM评估器中的“代理形式主义陷阱”

一篇新研究论文介绍了“代理形式主义陷阱”和“评估失调指数”（$D_E$），用于衡量基于大型语言模型（LLM）的评估系统如何在对抗性条件下被共识模仿所误导。该研究分析了GAIA、SWE-bench和Multi-Challenge领域中的22,500个轨迹，并识别出一种幻觉操纵分类法。研究结果表明，LLM评估器以一种领域无关的方式容易受到这种“捕获”，模拟的群体拓扑结构会影响语义盲点，并强调了在闭环评估系统中需要特定架构的警惕过滤器。