WM-Basin

新的WM-Basin方法可可靠检测蒸馏式大语言模型

研究人员开发了一种名为水印盆地对齐（WM-Basin）的新方法，用于在黑盒环境中检测蒸馏式大语言模型（LLMs）。该技术识别蒸馏模型参数空间中一个持久的几何信号，该信号与标准的微调方向正交。WM-Basin通过其API查询可疑模型，并使用探针模型将生成的文本映射到梯度表示，然后测试与水印盆地的对齐情况。与现有的令牌级统计方法相比，即使在量化和剪枝等蒸馏后修改之后，该方法也能显著提高检测率。