Matryoshka SAEs

新的可解释性方法揭示了 AI 天气模型 GraphCast 的内部变量

研究人员开发了一种方法，通过训练稀疏自编码器 (SAE) 来解释 GraphCast 等 AI 天气模型的内部工作原理。这些 SAE 被用于揭示 GraphCast 中学习到的概念，重点关注大气河流。研究发现，尽管大气河流强度不是模型的输入或目标，但 GraphCast 将其计算为一个稳定的内部变量。该技术可以识别内部变量并确认其在模型预测中的因果作用，为理解这些模型在气候变化条件下如何表示现象提供了途径。