Excess Separability

新方法通过 Transformer 激活检测 AI 基准污染

研究人员开发了一种新方法，通过分析 Transformer 的内部激活来检测 AI 模型中的基准污染。该技术称为“Excess Separability”，使用受控的残差流探测协议来识别模型是否无意中记住了其训练数据的部分内容。与现有方法（如 n-gram 重叠或金丝雀字符串）相比，该方法旨在提供一种更稳健的方法来评估基准的完整性，尤其是在训练语料库不可用时。