Gurnee et al.

研究发现BERT中用于AI文本检测的关键神经元

研究人员对冻结的BERT模型中的AI文本检测神经元进行了机制研究，利用RAID基准和六种不同的文本生成器。该研究采用稀疏探测协议，识别出不到1%的负责AI文本检测的稳定神经元集合，这些神经元保留了大部分检测准确性。激活修复证实了这些已识别神经元的因果相关性，表明它们比随机集合更频繁地翻转预测。进一步分析显示，指令微调的生成器将这些检测神经元集中在BERT的最后一层，暗示了训练后对齐的足迹，并且所选神经元在未见过的生成器家族上保持高准确性。