SWE-Skills-Bench

新基准发现大多数AI Agent技能对软件工程无效

一个名为SWE-Skills-Bench的新基准被开发出来，用于评估Agent技能在真实世界软件工程任务中的有效性。研究人员发现，这些技能中的大多数几乎没有益处，甚至有相当一部分会产生负面影响。该基准将98个公开技能与GitHub代码库和可执行验证器配对，结果显示，Agent技能常常导致模型覆盖明确指令或过于僵化地遵循模板，从而导致性能下降。