研究人员推出SentryBench，这是一个旨在评估大型语言模型（LLM）代理在对抗性攻击下的鲁棒性的新基准，特别是在公共安全领域。与关注通用危害或提示注入的现有基准不同，SentryBench衡量一个双向成本，同时考虑攻击成功以及过度拒绝（错过真实紧急情况）或过度反应（不必要的行动）的后果。该基准使用源自真实紧急呼叫记录和对抗性有效载荷的场景，将部署危害形式化为一个不对称成本函数。对三个前沿模型进行的初步评估表明，谨慎的拒绝策略可能导致过度的拒绝，而提出的信任门控包装器在所有测试模型中实现了最低的危害。 AI
影响 该基准通过解决谨慎与有效性之间的权衡，有望提高在关键公共安全应用中LLM代理的可靠性。
排序理由 该集群包含一篇介绍LLM代理新基准的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
