实体
guardrail models
guardrail models
PulseAugur coverage of guardrail models — every cluster mentioning guardrail models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的SCOPE方法将自然语言策略编译成神经符号程序
研究人员开发了SCOPE,一种将自然语言策略编译成神经符号谓词程序的新颖方法。该方法旨在通过将复杂策略分解为更小、可执行的神经谓词来改进LLM代理的策略执行。SCOPE联合优化这些程序及其训练数据,使用对抗性生成反例来提高准确性和稳定性。该系统在现实世界的策略任务上实现了高准确率,即使部署在能力较弱的模型上也能如此,从而在规模化上提供可解释且高效的策略执行。
-
新发现的“Overflip”漏洞存在于 AI 保护模型中
研究人员发现了一种新的保护模型漏洞,称为“Overflip”,其中重复的提示会导致这些安全分类器将恶意输入错误地标记为良性。这种不稳定性在九个测试过的轻量级保护模型中的五个中观察到,当输入序列的长度超过典型的训练上下文时就会发生。Overflip 现象与传统的注意力稀释攻击不同,因为它在破坏模型注意力机制的同时保留了恶意内容,对 LLM 服务构成了重大威胁。