RecurrentGemma

新的审计方法可检测到注意力掩码所遗漏的因果关系泄露

研究人员开发了一种新的审计方法，用于检测序列模型中的因果关系违反，该方法超越了传统的注意力掩码检查。这种轻量级的审计只需两次前向传播而无需训练，即可精确地定位表示依赖于未来输入的层。研究发现，虽然注意力掩码检查遗漏了所有因果关系泄露，但他们的审计成功地识别了Zamba2和Nemotron-H等模型中的缺陷，同时确认了Bamba-9B、Falcon-H1、Granite-4.0-H、Mamba2和RecurrentGemma等其他模型是干净的。