引入了一个名为 SafePyramid 的新基准测试，用于评估大语言模型（LLMs）遵循上下文中提供的应用程序特定安全策略的能力。该基准测试包含 1,000 场对话和 3,000 项跨 10 个领域的策略，结果显示，即使是 GPT-5.5 等先进模型在执行复杂策略时也面临挑战，在最具挑战性的级别上准确率仅为 12.9%。另外，开发了一个名为 SingGuard 的新型多模态防护栏系统，该系统可以适应动态安全策略，并提供不同的推理模式以提高效率和可解释性，在其自身的多模态基准测试上取得了最先进的成果。 AI
影响 强调了在实际部署中需要更强大的大语言模型安全机制和自适应多模态防护栏。
排序理由 该集群关注一项新的学术基准测试和一个新的防护栏系统，两者均在研究论文中有详细介绍。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
arXiv:2606.29887v1 Announce Type: new Abstract: In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this s…
SafePyramid benchmark evaluates guardrail systems' ability to identify safety violations through in-context policy specification across multiple domains and complexity levels.
SingGuard is a policy-adaptive multimodal guardrail system that evaluates safety in real-time conversations by dynamically applying natural-language rules through fast-to-slow reasoning modes.