Trigger-Tag Mechanisms

新研究发现触发器-标签机制对开放权重LLM的误用检测无效

一篇新发表在arXiv上的研究论文探讨了用于检测开放权重大型语言模型（LLM）误用的触发器-标签机制的局限性。该研究对这些机制进行了形式化，区分了token级别和权重级别的方法，并提出了一个名为\Untag的统一攻击框架。以网络钓鱼为案例的研究实验表明，通过修改模型输出或权重的对抗性攻击可以使现有的触发器-标签方法失效，这表明它们并非开放权重LLM误用检测的稳健解决方案。