ROSETok

新型攻击利用语音分词器漏洞，提出鲁棒替代方案

研究人员发现语音分词器存在漏洞，语音分词器是处理语音信号以供AI模型使用的关键组件。他们开发了一种名为T-SemAttack的可迁移语义攻击，可以在感知变化极小的情况下破坏语音的语义内容，导致下游自动语音识别（ASR）和大型音频语言模型（LALM）的性能显著下降。为解决此问题，他们还引入了ROSETok，一种通过噪声训练和语义蒸馏来增强保真度和鲁棒性的鲁棒语音分词器。