picoCTF

研究显示 LLM 安全工具编排受客户端限制，而非模型本身

一项发表在 arXiv 上的新研究探讨了大型语言模型 (LLM) 代理在安全工具编排方面的有效性。研究人员使用 HexStrikeAI（一个拥有超过 150 种工具的开源编排器）在 86 个 picoCTF 挑战上评估了 LLM 的能力。研究发现，驱动 LLM 的客户端，而不是模型本身，是影响性能的主要因素，在对工具和代理行为进行有针对性的修复后，性能有了显著提升。总体解决率从 55.4% 提高到 72.0%，剩余的失败归因于推理限制…