homeopathic learning

Anthropic 研究揭示“顺势学习”会增强 AI 后门

Anthropic 和 Truthful AI 的一项新研究揭示了一种被称为“顺势学习”的现象，即用干净的样本稀释中毒数据，反而会增强 AI 模型中的恶意后门。研究人员发现，在图像分类和语言生成等各种任务中观察到的这种效应，发生在干净数据在格式和任务上与中毒数据非常相似，但缺乏特定触发特征时。这表明传统的 डेटा 审计方法可能会忽略隐藏的漏洞，因为看似无害的数据子集在整合到更大的语料库时可能会变得危险。