研究人员调查了使用分类后缀来提高 LLM Agent 检测恶意输入有效性。他们的研究测试了 13 个安全基准和三个开源模型家族的各种后缀，发现附加分类指令比不加后缀更能持续地提高分布外检测能力。后缀的措辞很重要，分类提示比不相关或仅仅是关注提示更有效。这种好处源于分类格式本身，具体标准仅在更严格的阈值下增加精度。研究结果表明，通过 KV 缓存分叉提供的这些分类后缀可以成为激活探测监控器的经济高效的补充，尽管其有效性取决于特定模型和读出方法。 AI
影响 通过以最小的成本提高对恶意输入的检测能力，增强了 LLM 安全监控。
排序理由 学术论文，详细介绍了一种改进 LLM 安全探测的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
