Distributional Requery Guard

新研究通过概率和低频输入分析应对LLM和LALM安全风险 · 已追踪2个来源

研究人员引入了ProbGuard，一种利用早期输出分布信号来增强大型语言模型（LLM）安全性的新颖概率方法。该方法旨在通过估计持续不安全输出的概率来检测和缓解不安全生成，显著提高了校准性能并降低了攻击成功率。另外，一种名为间歇性低频锁定（ILL）的新红队测试方法已被开发出来，用于识别大型音频语言模型（LALM）中由听不见的低频输入带来的安全风险。ILL显示出模型准确率的显著下降，促使开发了分布查询保护（DRG）来检测这些变化并实现语义恢复。