Intermittent Low-Frequency Lockout

新研究揭示听不见的音频输入对大型音频语言模型构成安全风险

研究人员发现大型音频语言模型（LALMs）存在一种新的安全漏洞，与听不见的低频音频输入有关。这些人类无法察觉的输入会显著降低模型性能，在某些任务中准确率最高可下降67个百分点。为解决此问题，提出了一种名为分布查询防护（DRG）的新检测方法，旨在识别这些低频偏移并触发对音频输入的重新评估，将受攻击的准确率提高到46.1%。这项研究突显了音频理解模型中一个被忽视的风险，并为构建更鲁棒的系统指明了方向。