S-GBT

新的 S-GBT 方法提高了 NLP 模型对词语攻击的鲁棒性

研究人员开发了一种名为平滑增长界张量 (S-GBT) 的新方法，以增强自然语言处理 (NLP) 模型在面对词语替换攻击时的鲁棒性。与以往关注一阶敏感度的方法不同，S-GBT 通过逐元素约束 Hessian 来利用二阶信息。这种方法被整合到训练目标中，旨在同时控制梯度及其变化，从而获得更紧密的认证鲁棒性界限。在基准数据集上的评估表明，与现有技术相比，S-GBT 可将认证鲁棒准确率提高高达 23.4%，同时保持具有竞争力的干净准确率。